Glossario
robots.txt
Definizione
robots.txt è un file nella radice di un sito che dice ai crawler quali percorsi possono o non possono richiedere.
Controlla la scansione, non l'indicizzazione: una pagina bloccata può comunque essere indicizzata se collegata altrove. Per tenere una pagina fuori dai risultati, usa invece un tag noindex e non bloccarla in robots.txt.
La maggior parte dei siti ha bisogno solo di un file breve e curato, più un link alla sitemap XML. Un singolo Disallow sbagliato può nascondere un'intera sezione, quindi gestiscilo con attenzione.