Glossar
robots.txt
Definition
robots.txt ist eine Datei im Wurzelverzeichnis, die Crawlern sagt, welche Pfade sie abrufen dürfen und welche nicht.
Sie steuert das Crawlen, nicht das Indexieren: Eine gesperrte Seite kann trotzdem indexiert werden, wenn anderswo auf sie verlinkt wird. Um eine Seite aus den Ergebnissen zu halten, nutzen Sie ein noindex-Tag und sperren sie nicht in robots.txt.
Die meisten Seiten brauchen nur eine kurze, sorgfältige Datei plus einen Link zur XML-Sitemap. Ein falsches Disallow kann einen ganzen Bereich verbergen, also mit Bedacht.