MIGUEL.REGO // SEO+GEO Hablemos ↗

Glosario

robots.txt

Definición

robots.txt es un archivo en la raíz del sitio que indica a los rastreadores qué rutas pueden o no pueden solicitar.

Controla el rastreo, no la indexación: una página no permitida aún puede indexarse si hay enlaces a ella en otro sitio. Para mantener una página fuera de los resultados, usa una etiqueta noindex y no la bloquees en robots.txt.

La mayoría de los sitios solo necesitan un archivo breve y cuidadoso más un enlace al sitemap XML. Un único Disallow equivocado puede ocultar una sección entera, así que manéjalo con cuidado.