Per consentire ai crawler l’accesso alle istruzioni personalizzate per la scansione del sito, bisogna creare un file di testo con il nome esatto di “robots.txt” e caricarlo nella root del sito. Ad esempio se si vogliono definire le linee guida per il dominio esempio.it, il file robots.txt deve trovarsi nella stessa cartella di www.esempio.it, per richiamare il file all’indirizzo www.esempio.it/robots.txt. Se con l’hosting scelto non è possibile accedere alla root del server, ma solo ad una sottocartella
(come www.esempio.it/utente/), non è possibile gestire l’indicizzazione tramite il file robots.txt.
I webmaster che vogliono creare un file robots.txt, devono utilizzare un editor di testo come vi (per Linux) o notepad.exe (per Windows) e assicurarsi, durante il trasferimento FTP, che il file venga trasmesso in modalità ASCII. Grazie ad un generatore è possibile creare un file robots.txt anche online. Si consiglia di testare il file, prima di caricarlo sulla root, perché gli errori di sintassi possono ripercuotersi negativamente sull’indicizzazione del sito. A questo proposito Google mette a disposizione un tool all’interno della Search Console.