Definition robots.txt

robots.txt ist eine Datei, die Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche einer Internetpräsenz nicht in den Index aufgenommen werden sollen. Sie wird im Wurzelverzeichnis einer Website abgelegt, also dort, wo auch die Startseite (index.html) einer Internetpräsenz abgelegt ist.

Hier erfahren Sie genau, wie Sie eine robots.txt erstellen.

 

GRATIS-NEWSLETTER ABONNIEREN

SEMINAR-TIPP ZUR WEITERBILDUNG

NewsletterRegelmäßig Tipps und Tricks rund ums Onlinemarketing.
Gratis-Newsletter abonnieren!
eMBISZu diesem Thema bietet unser Kooperationspartner eMBIS Seminarangebote.