Glosario
robots.txt
Definición
robots.txt es un archivo en la raíz del sitio que indica a los rastreadores qué rutas pueden o no pueden solicitar.
Controla el rastreo, no la indexación: una página no permitida aún puede indexarse si hay enlaces a ella en otro sitio. Para mantener una página fuera de los resultados, usa una etiqueta noindex y no la bloquees en robots.txt.
La mayoría de los sitios solo necesitan un archivo breve y cuidadoso más un enlace al sitemap XML. Un único Disallow equivocado puede ocultar una sección entera, así que manéjalo con cuidado.