Glossaire
robots.txt
Définition
robots.txt est un fichier placé à la racine d'un site qui indique aux crawlers quels chemins ils peuvent ou ne peuvent pas demander.
Il contrôle l'exploration, non l'indexation : une page interdite peut tout de même être indexée si on la lie ailleurs. Pour tenir une page hors des résultats, utilisez plutôt une balise noindex et ne la bloquez pas dans robots.txt.
La plupart des sites n'ont besoin que d'un fichier court et soigné, plus un lien vers la sitemap XML. Un seul Disallow erroné peut masquer une section entière, alors maniez-le avec soin.