MIGUEL.REGO // SEO+GEO Kontakt ↗

Glossar

robots.txt

Definition

robots.txt ist eine Datei im Wurzelverzeichnis, die Crawlern sagt, welche Pfade sie abrufen dürfen und welche nicht.

Sie steuert das Crawlen, nicht das Indexieren: Eine gesperrte Seite kann trotzdem indexiert werden, wenn anderswo auf sie verlinkt wird. Um eine Seite aus den Ergebnissen zu halten, nutzen Sie ein noindex-Tag und sperren sie nicht in robots.txt.

Die meisten Seiten brauchen nur eine kurze, sorgfältige Datei plus einen Link zur XML-Sitemap. Ein falsches Disallow kann einen ganzen Bereich verbergen, also mit Bedacht.