Advanced Technology

Apprendo ora dal blog ufficiale di Google che a Mountain View hanno messo a punto uno strumento all'interno del Webmaster Tools che aiuta i webmaster meno esperti a creare e comprendere cosa faccia il file robots.txt.

Per coloro i quali non sapessero a cosa serve questo file, in breve, il robots.txt serve ad indicare (a tutti quei motori di ricerca che sfruttano questa caratteristica) quali parti del nostro sito sono di pubblico dominio e quindi indicizzabili, quali invece devono essere escluse, quali motori sono benvoluti e quali no.
Ovviamente quei motori senza scrupoli o quelle applicazioni scritte per fare dello scavenging non si esimeranno egualmente dal rovistare nel vostro sito anche con il supporto di questo nuovo tool, ma questa è un'altra storia che si può combattere con diverse altre tecniche di cui non è questo il post adatto a parlarne.

Tutto questo, da oggi, si è trasformato in una comoda interfaccia che permette di generare e salvare il file per integrarlo poi nel proprio sito web.

Interfaccia o no, è cmq necessario una reference guide, quindi per concludere potete o collegarvi al sito che riporta tutte le specifiche del protocollo, oppure a questa breve guida direttamente dal sito google.

1. Guarda come ti scopro l’errore 404
2. Supporto X-Robots-Tag per Yahoo!
3. Google webmasters tools (labs) con sorpresa
4. Nuove migliorie per il GoogleBot
5. Cosa sono i Sitelinks