Cos’è il deep web?

Non tutti i contenuti che esistono sui siti web e nei negozi online sono li­be­ra­men­te di­spo­ni­bi­li per tutti gli utenti e i motori di ricerca. Questi contenuti ad accesso limitato rientrano nella categoria de­no­mi­na­ta “deep web”. Le ragioni per le re­stri­zio­ni di accesso possono essere mol­te­pli­ci.

Molte persone pro­ba­bil­men­te non hanno fa­mi­lia­ri­tà con il “deep web”: si tratta del termine generico uti­liz­za­to per tutti i tipi di dati a cui non si può accedere sem­pli­ce­men­te tramite un motore di ricerca o inserendo un URL. Si tratta di una gran parte dei dati e delle pagine di­spo­ni­bi­li su Internet, per esempio database di aziende, uni­ver­si­tà e musei vi­si­ta­bi­li solo tramite un login, conti bancari, carrelli della spesa, account utente di negozi online e altro. In senso stretto, il deep web comprende anche il dark web, anche se questi contenuti dif­fe­ri­sco­no ul­te­rior­men­te tra di loro in misura si­gni­fi­ca­ti­va.

Come già il­lu­stra­to in pre­ce­den­za, una possibile ragione per cui il contenuto non viene trovato e in­di­ciz­za­to dai crawler del motore di ricerca è la re­stri­zio­ne di accesso tramite un login o la richiesta di una password. Ulteriori ostacoli possono essere rap­pre­sen­ta­ti anche dal consenso alle con­di­zio­ni di utilizzo o da una barriera di pagamento. In tutti questi casi, in qualità di utenti potete accedere all’URL solo se avete pre­ce­den­te­men­te inserito una password o avete accettato il pagamento.

Esiste, però, anche un altro caso sul deep web. È possibile ri­chia­ma­re la pagina solo se l’URL è noto; il crawler di un motore di ricerca, tuttavia, non la trova e non la indicizza ancora. Le ragioni sono mol­te­pli­ci.

Da un lato, i webmaster possono escludere spe­ci­fi­ca­men­te i contenuti dall’in­di­ciz­za­zio­ne uti­liz­zan­do il comando Nofollow; dall’altra è possibile che una pagina sia nascosta in un sito web in modo tale che il crawler non possa trovarla. Per ogni sito web, il crawler ha solo un de­ter­mi­na­to “page budget”: se questo è esaurito e ci sono ancora altre pagine a un livello inferiore, queste non vengono prese in con­si­de­ra­zio­ne. Una terza pos­si­bi­li­tà è la mancanza di requisiti tecnici per l’in­di­ciz­za­zio­ne, per esempio se si usa Flash.

In linea di principio, i contenuti del deep web non co­sti­tui­sco­no alcun problema per voi e per i vi­si­ta­to­ri del vostro sito web. Al contrario, queste pagine si trovano su quasi tutti i prin­ci­pa­li siti web o nei negozi online e gli utenti ef­fet­tua­no il login in modo ab­ba­stan­za naturale.

La mancanza di in­di­ciz­za­zio­ne da parte di Google, tuttavia, diventa un fattore si­gni­fi­ca­ti­vo in relazione all’ot­ti­miz­za­zio­ne per i motori di ricerca. Spe­cial­men­te con argomenti scien­ti­fi­ci o medici, molti contenuti rilevanti sono spesso soggetti a una re­stri­zio­ne di accesso. Tuttavia, l’obiettivo dovrebbe essere quello di rendere li­be­ra­men­te ac­ces­si­bi­li e in­di­ciz­za­bi­li quanti più contenuti possibili (nella misura in cui sia con­sen­ti­to dalle leggi vigenti e dalla politica aziendale), o perlomeno di pro­get­ta­re pagine di de­sti­na­zio­ne che diano al motore di ricerca una vaga idea di ciò che si può (ancora) trovare sul vostro sito web.