robots.txt ist eine Datei, die Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche einer Internetpräsenz nicht in den Index aufgenommen werden sollen. Sie wird im Wurzelverzeichnis einer Website abgelegt, also dort, wo auch die Startseite (index.html) einer Internetpräsenz abgelegt ist.