Eine Textdatei im Wurzelverzeichnis, die Suchmaschinen-Crawlern sagt, welche Bereiche sie nicht abrufen sollen. Sie steuert das Crawling, nicht die Indexierung.