Gestire l’in­di­ciz­za­zio­ne del sito con il file robots.txt

Per con­sen­ti­re ai crawler l’accesso alle istru­zio­ni per­so­na­liz­za­te per la scansione del sito, bisogna creare un file di testo con il nome esatto di “robots.txt” e caricarlo nella root del sito. Ad esempio se si vogliono definire le linee guida per il dominio esempio.it, il file robots.txt deve trovarsi nella stessa cartella di www.esempio.it, per ri­chia­ma­re il file all’indirizzo www.esempio.it/robots.txt. Se con l’hosting scelto non è possibile accedere alla root del server, ma solo ad una sot­to­car­tel­la
(come www.esempio.it/utente/), non è possibile gestire l’in­di­ciz­za­zio­ne tramite il file robots.txt.

I webmaster che vogliono creare un file robots.txt, devono uti­liz­za­re un editor di testo come vi (per Linux) o notepad.exe (per Windows) e as­si­cu­rar­si, durante il tra­sfe­ri­men­to FTP, che il file venga trasmesso in modalità ASCII. Grazie ad un ge­ne­ra­to­re è possibile creare un file robots.txt anche online. Si consiglia di testare il file, prima di caricarlo sulla root, perché gli errori di sintassi possono ri­per­cuo­ter­si ne­ga­ti­va­men­te sull’in­di­ciz­za­zio­ne del sito. A questo proposito Google mette a di­spo­si­zio­ne un tool all’interno della Search Console.

Ogni robots.txt contiene una serie di dati, chiamati record, composti da due parti. La prima parte è in­tro­dot­ta dalla keyword “User-agent” e indica il crawler a cui vengono date le istru­zio­ni nella seconda parte. Ge­ne­ral­men­te si tratta di divieti di scansione del sito, che vengono in­tro­dot­ti dalla parola chiave “Disallow”, a cui segue il nome di una cartella o di uno o più file. Ne risulta il seguente schema di base

Nell’esempio, il file robots.txt si rivolge solo ai crawler con il nome “Googlebot” e gli vieta di scan­sio­na­re la cartella /temp/ e il file news.html. Vengono bloccati anche tutti i file e le cartelle, che si trovano nella cartella print. Da notare come Disallow: /temp/ e Disallow: /print si di­stin­guo­no sin­tat­ti­ca­men­te solo dalla mancanza dello slash alla fine, cosa che è di estrema rilevanza nella sintassi del file robots.txt. 

Se ne­ces­sa­rio, si possono ag­giun­ge­re dei commenti al file, in­tro­dot­ti da un can­cel­let­to (#) e inseriti in un punto qualsiasi.

Se ci si vuole rivolgere a diversi crawler, possono essere inserite a pia­ci­men­to tutte le righe ne­ces­sa­rie, sempre seguendo lo schema di base. In presenza di più user agent, prima di inserirne uno, viene lasciata una riga vuota.

Al crawler di Google viene impedito di ana­liz­za­re la cartella /temp/, mentre al bot di Bing non è con­sen­ti­to scan­sio­na­re la cartella /print/.

Se devono essere bloccati per tutti i crawler delle cartelle o file specifici, si utilizza un asterisco come wildcard per estendere il divieto a tutti gli user agent. 

Il file robots.txt blocca l’accesso alle cartelle /temp/, /print/ e /pictures/ a tutti i crawler.

Se si vuole indicare agli user agent di non accedere ad alcuna sezione del sito, basta uno slash dopo la parola chiave “Disallow”:

Così viene segnalato a tutti i crawler di ignorare com­ple­ta­men­te il sito web. Ad esempio si può fornire questa direttiva, nel caso di progetti che si trovino ancora in una fase di test.

Se un robot deve scan­sio­na­re ed in­di­ciz­za­re tutto il sito web, nel file deve essere uti­liz­za­ta la keyword “Disallow” senza lo slash:

Se il file robots.txt contiene questa in­di­ca­zio­ne, tutto il sito web è indicato come da scan­sio­na­re per il crawler definito alla voce “user-agent”.

Oltre alle funzioni di base, ormai quasi standard, alcuni motori di ricerca sup­por­ta­no altri parametri, che con­sen­to­no di precisare le istru­zio­ni del file robots.txt. Queste funzioni sono sup­por­ta­te da Google e sono frutto di un accordo con Microsoft e Yahoo!.

Oltre a “Disallow”, Google supporta con “Allow” un’altra parola chiave nel file robots.txt, che consente di stabilire delle eccezioni per le cartelle bloccate:

La keyword “Allow” consente di sbloccare il file www.sito.it/news/index.html per il Googlebot, malgrado la cartella so­vraor­di­na­ta /news/ rimanga bloccata.

I webmaster che vor­reb­be­ro impedire al Googlebot la scansione di file con un’esten­sio­ne precisa, uti­liz­za­no i record come nell’esempio:

La keyword “Disallow” si riferisce a tutti i dati con l’esten­sio­ne .pdf e ne impedisce l’accesso al Googlebot. L’asterisco (*) funziona come wildcard per i nomi dei file prima dell’esten­sio­ne. La voce viene inclusa, inserendo il simbolo del dollaro ($) alla fine della riga.

Oltre a gestire la scansione del sito, il file robots.txt consente di rendere nota ai crawler la struttura di un sito. Un file robots.txt che rimanda alla sitemap si può rea­liz­za­re così: