Apprendo ora dal blog ufficiale di Google che a Mountain View hanno messo a punto uno strumento all’interno del Webmaster Tools che aiuta i webmaster meno esperti a creare e comprendere cosa faccia il file robots.txt.
Per coloro i quali non sapessero a cosa serve questo file, in breve, il robots.txt serve ad indicare quali parti del nostro sito sono indicizzabili, quali invece devono essere escluse, quali motori sono benvoluti e quali no.
Ovviamente quei motori senza scrupoli o quelle applicazioni scritte per fare dello scavenging non si esimeranno egualmente dal rovistare nel vostro sito anche con il supporto di questo nuovo tool, ma questa è un’altra storia che si può combattere con diverse altre tecniche di cui non è questo il post adatto a parlarne.
Tutto questo, da oggi, si è trasformato in una comoda interfaccia che permette di generare e salvare il file per integrarlo poi nel proprio sito web.Interfaccia o no, è cmq necessario una reference guide, quindi per concludere potete o collegarvi al sito che riporta tutte le specifiche del protocollo, oppure a questa breve guida direttamente dal sito google.