
I motori di ricerca usano i crawler per trovare nuove pagine e indicizzarle per la ricerca. Un procedimento fondamentalmente utile può diventare fastidioso se si prendono in considerazione anche aree che non sono destinate al pubblico. Con robots.txt si escludono le pagine di WordPress per il crawler. Qui di seguito vi spieghiamo come si utilizza.