robots.txt su WordPress: come impostare il file

Non tutte le sot­to­pa­gi­ne o le directory del vostro sito web sono così im­por­tan­ti da dover essere ne­ces­sa­ria­men­te scan­sio­na­te dai comuni motori di ricerca. Con l’aiuto del file robots.txt potete de­ter­mi­na­re quali sot­to­pa­gi­ne di WordPress devono essere prese in con­si­de­ra­zio­ne dal crawler e quali no. In questo modo, il vostro sito web si posiziona si­gni­fi­ca­ti­va­men­te meglio nelle ricerche online. Qui vi spie­ghia­mo cosa fa robots.txt su WordPress e come potete ot­ti­miz­za­re il file.

I co­sid­det­ti crawler cercano su Internet i siti web, 24 ore su 24. Questi bot sono inviati dai ri­spet­ti­vi motori di ricerca e catturano il maggior numero possibile di pagine e sot­to­pa­gi­ne (in­di­ciz­za­zio­ne) per renderle di­spo­ni­bi­li per la ricerca. Affinché i crawler leggano bene il vostro sito web, hanno bisogno di essere guidati. In questo modo evitate che vengano in­di­ciz­za­ti contenuti della vostra pagina ir­ri­le­van­ti per i motori di ricerca e vi as­si­cu­ra­te che il crawler legga solo il contenuto che deve leggere.

È possibile usare robots.txt per questo controllo. Con WordPress e altri CMS, si usa questo file per de­ter­mi­na­re quali aree del vostro sito web sono rilevate dai crawler e quali no. Tramite il file robots.txt potete escludere o accettare i bot e fare inoltre di­stin­zio­ni precise sulle voci da far trovare a de­ter­mi­na­ti motori di ricerca e poi ri­pro­dur­le nella ricerca. Poiché ogni dominio ha solo un budget di crawling limitato, è ancora più im­por­tan­te spingere le pagine prin­ci­pa­li e rimuovere le sot­to­pa­gi­ne in­si­gni­fi­can­ti dal volume di ricerca.

In WordPress robots.txt specifica esat­ta­men­te quali contenuti sono in­di­ciz­za­ti e quali no, portando molti vantaggi. Per esempio, se essere ben po­si­zio­na­ti in ogni ricerca è im­por­tan­te per la vostra pagina prin­ci­pa­le, ciò non vale per l’in­for­ma­ti­va sulla privacy della vostra pagina. Anche i commenti o gli archivi non for­ni­sco­no alcun valore aggiunto nella ricerca e possono ad­di­rit­tu­ra portare svantaggi, come quando i motori di ricerca ri­co­no­sco­no il contenuto duplicato e lo valutano ne­ga­ti­va­men­te. Con un file robots.txt in WordPress, potete as­so­lu­ta­men­te evitare che ciò accada e in­di­riz­za­re invece i diversi crawler verso le aree del vostro sito web che do­vreb­be­ro essere realmente trovate.

Per co­min­cia­re, WordPress stesso crea un file robots.txt e quindi fa un po’ di lavoro pre­li­mi­na­re. Tuttavia, questo processo non è molto completo e deve quindi essere visto prin­ci­pal­men­te come un punto di partenza. Si presenta così:

Lo “User agent” nella prima riga indica i crawler. “*” esprime che ogni motore di ricerca è au­to­riz­za­to a inviare i propri bot alla vostra pagina. Questo passaggio è ge­ne­ral­men­te rac­co­man­da­to, poiché così il vostro sito sarà più facile da trovare. Il comando “Disallow” blocca le seguenti directory per i crawler: in questo caso, l’am­mi­ni­stra­zio­ne e la directory di tutti i file di WordPress. Robots.txt le blocca per i motori di ricerca, poiché i vi­si­ta­to­ri non hanno nulla da cercare sulle ri­spet­ti­ve pagine. Per as­si­cu­rar­vi che siano ac­ces­si­bi­li solo a voi, pro­teg­ge­te queste aree con una password sicura.

I motori di ricerca come Google devono na­tu­ral­men­te essere ancora in grado di trovare la vostra pagina senza com­pli­ca­zio­ni. Servizi piuttosto dannosi o dubbi come Dugg­Mir­ror, tuttavia, non lo sono; verranno quindi esclusi da WordPress grazie a robots.txt. Per fare questo, dovete escludere dall’in­di­ciz­za­zio­ne i temi, l’in­for­ma­ti­va sulla privacy e altre pagine che hanno poca o nessuna rilevanza. Anche i plugin non devono essere in­di­ciz­za­ti, non solo perché non sono rilevanti per il pubblico, ma anche per ragioni di sicurezza. Se un plugin ha un problema di sicurezza, il vostro sito web può essere trovato e dan­neg­gia­to.

Nella maggior parte dei casi, i due comandi già men­zio­na­ti sopra saranno suf­fi­cien­ti per fare un buon uso di robots.txt su WordPress: lo “User agent” indica a quali bot ci si deve rivolgere. In questo modo, potete de­ter­mi­na­re delle eccezioni per certi motori di ricerca o anche impostare delle regole di base. “Disallow” proibisce ai crawler di accedere a una pagina o sot­to­pa­gi­na cor­ri­spon­den­te. Il terzo comando “Allow” non è rilevante nella maggior parte dei casi, poiché l’accesso è con­sen­ti­to per im­po­sta­zio­ne pre­de­fi­ni­ta. Questo comando vi serve solo se volete bloccare una pagina ma con­sen­ti­re l’accesso alla sua sot­to­pa­gi­na.

Potete anche creare e cambiare il file robots.txt su WordPress con un plugin SEO. Ciò avviene in modo comodo e sicuro nella dashboard e può quindi diventare ancora più facile. Un plugin popolare per questo scopo è Yoast SEO.

Passaggio 1: per prima cosa dovete in­stal­la­re e attivare il plugin.

Passaggio 2: in secondo luogo, con­sen­ti­te al plugin di apportare modifiche avanzate. Per farlo, andate su “SEO” > “Bacheca” >, “Fun­zio­na­li­tà” e fate clic su “On” sotto la voce “Avanzate” della relativa pagina da in­di­ciz­za­re.

Passaggio 3: dopo questa at­ti­va­zio­ne, fate le modifiche nella bacheca sotto “SEO” > “Strumenti” > “Modifica file”. A quel punto, potete creare e mo­di­fi­ca­re di­ret­ta­men­te un nuovo file robots.txt su WordPress. Le modifiche sono poi im­ple­men­ta­te di­ret­ta­men­te.

Avete impostato il vostro sito web, stabilito delle regole e, almeno in teoria, bloccato i crawler e reso in­vi­si­bi­li le sot­to­pa­gi­ne. Ma come fate a sapere se tutte le vostre modifiche sono state ef­fet­ti­va­men­te apportate? Nella Google Search Console avete a di­spo­si­zio­ne lo strumento “Tester dei file robots.txt”. Inserite lì le vostre pagine e sot­to­pa­gi­ne e poi ve­ri­fi­ca­te se possono essere trovate o se sono bloccate. La scritta in verde “accettato” in basso a destra indica che i crawler tro­ve­ran­no e con­si­de­re­ran­no la pagina, la scritta in rosso “bloccato” indica che la pagina non sarà in­di­ciz­za­ta.

Il file robots.txt è un metodo semplice ed efficace in WordPress per de­ter­mi­na­re quali aree del vostro sito devono essere trovate e da chi. Se usate già un plugin SEO come Yoast, è più facile ef­fet­tua­re modifiche al robots.txt. Al­tri­men­ti, il file può anche essere creato e adattato ma­nual­men­te senza problemi.