Apprendo ora dal blog ufficiale di Google che a Mountain View hanno messo a punto uno strumento all'interno del Webmaster Tools che aiuta i webmaster meno esperti a creare e comprendere cosa faccia il file robots.txt.

Per coloro i quali non sapessero a cosa serve questo file, in breve, il robots.txt serve ad indicare (a tutti quei motori di ricerca che sfruttano questa caratteristica) quali parti del nostro sito sono di pubblico dominio e quindi indicizzabili, quali invece devono essere escluse, quali motori sono benvoluti e quali no.
Ovviamente quei motori senza scrupoli o quelle applicazioni scritte per fare dello scavenging non si esimeranno egualmente dal rovistare nel vostro sito anche con il supporto di questo nuovo tool, ma questa è un'altra storia che si può combattere con diverse altre tecniche di cui non è questo il post adatto a parlarne.

Tutto questo, da oggi, si è trasformato in una comoda interfaccia che permette di generare e salvare il file per integrarlo poi nel proprio sito web.