Glossário
robots.txt
Definição
robots.txt é um ficheiro na raiz de um site que diz aos rastreadores que caminhos podem ou não podem pedir.
Controla o rastreio, não a indexação: uma página não permitida pode ainda assim ser indexada se houver ligações para ela noutro sítio. Para manter uma página fora dos resultados, use antes uma etiqueta noindex e não a bloqueie no robots.txt.
A maioria dos sites precisa apenas de um ficheiro curto e cuidadoso, mais uma ligação para o sitemap XML. Um único Disallow errado pode ocultar uma secção inteira, por isso trate-o de forma deliberada.