Paura del robots.txt? GWT ti aiuta

Apprendo ora dal blog ufficiale di Google che a Mountain View hanno messo a punto uno strumento all’interno del Webmaster Tools che aiuta i webmaster meno esperti a creare e comprendere cosa faccia il file robots.txt. image

Per coloro i quali non sapessero a cosa serve questo file, in breve, il robots.txt serve ad indicare (a tutti quei motori di ricerca che sfruttano questa caratteristica) quali parti del nostro sito sono di pubblico dominio e quindi indicizzabili, quali invece devono essere escluse, quali motori sono benvoluti e quali no.

Ovviamente quei motori senza scrupoli o quelle applicazioni scritte per fare dello scavenging non si esimeranno egualmente dal rovistare nel vostro sito anche con il supporto di questo nuovo tool, ma questa è un’altra storia che si può combattere con diverse altre tecniche di cui non è questo il post adatto a parlarne.image

Tutto questo, da oggi, si è trasformato in una comoda interfaccia che permette di generare e salvare il file per integrarlo poi nel proprio sito web.

Interfaccia o no, è cmq necessario una reference guide, quindi per concludere potete o collegarvi al sito che riporta tutte le specifiche del protocollo, oppure a questa breve guida direttamente dal sito google.