In gergo SEO, il deep crawling di un sito web da parte di uno spider è quell'operazione di analisi approfondita dei contenuti e del numero di pagine di un sito web.

Google di norma, così come gli altri motori di ricerca, tende a non analizzare sempre in profondità i siti già presenti nel suo indice per evitare lo 'spreco delle sue risorse di elaborazione' (questo discorso non vale per il corriere.it :-) ). Per la maggior parte dei siti che ha già indicizzato (spesso dotati di una bassa frequenza di pubblicazione di nuovi contenuti), si limita quindi a valutare se le pagine sono state modificate o meno senza farne un'analisi approfondita ad ogni suo accesso.

Quando, però vi sono degli eventi importanti nella vita di un sito web, intraprende un'attività definita come deep crawling: vengono analizzati in modo dettagliato una grandissima parte dei contenuti del sito per poi avviare anche un'eventuale riconsiderazione del posizionamento delle pagine del sito nel suo complesso.

Non basta modificare un piccolo elemento dell'home page perchè avvenga una scansione 'profonda': altrimenti i blog ed i siti con un'area news nell'home page sarebbero falcidiati dai bot quasi quotidianamente e Google non avrebbe raggiunto lo scopo del risparmio delle risorse.

Il deep crawling può avvenire per cambi più radicali, ad esempio, in seguito al:

• restyling di un sito web;
• un piano di migrazione delle URL;
• un piano di migrazione di dominio;
• inserimento nell'indice di Google News;
• ecc.

Se per caso un sito web 'soffre' di qualche subdola penalizzazione da parte dei motori di ricerca, favorire il deepcrawling in seguito all'intervento correttivo potrebbe abbreviare i tempi per vedere i benefici dell'uscita dalla 'lista nera'.

Per poter 'scoprire' che sul sito è stato eseguito un deep crawling si possono fare principalmente due tipi di operazioni:

1- analizzare i log del server web alla ricerca del incremento di accessi da parte dei bot;

2- aprire il pannello Google Webmaster Tool nella schermata dedicata alle statistiche di crawling e dare un'occhiata dal grafico. Qui, potete vedere un esempio di deep crawling in seguito al restling di un sito web con evidenziato in rosso il picco di accessi di Googlebot.

Se invece siete degli spammer e avete un sito web ben posizionato con dei metodi furbi, beh vi conviene non toccare nulla...Googlebot potrebbe svegliarsi e accorgersi di qualche vostra furberia... :-)