Alcune delle pagine più importanti di siti molto famosi sono bloccate dal file robots.txt. Anche il tuo sito abusa del robots.txt?

Questo file è stato creato nel giugno 1994 per indicare quali pagine o directory non dovrebbero essere accessibili ai bots (i robots dei motori di ricerca). Molti di questi, tra i quali anche Google, non indicizzano il contenuto delle pagine bloccate dal robots.txt, ma continuano comunque ad includerle nella SERP.

Rolf Broer, dopo aver creato alcuni test per vedere come reagisce googlebot su diverse configurazioni di link e pagine, ha da poco pubblicato un interessante articolo sul crawl di google e la sua capacità di scansione.
Per prima cosa ha notato che l’utilizzo di una sitemap influisce in modo positivo, inoltre, sebbene google consigli di non inserire più di 100 link in una pagina, il test ha dimostrato che ne indicizza un numero maggiore se è necessario.
Matt Cutts ha affermato che “la quantità di pagine scansionate è grosso modo proporzionale al PageRank”.

Cos’è una sitemap? Una Sitemap, o site map, è una pagina Web che elenca gerarchicamente tutte le pagine di un sito Web. E’ nata inzialmente per agevolare la navigazione dell utente all interno del sito, ma oggi è sopratutto uno strumento fondamentale per facilitare e velocizzare la scansione da parte dei crawler dei motori di ricerca per l’indicizzazione delle pagine web.
Non tutti sanno però che la sitemap ha dei limiti: può indicizzare al massimo 50.000 URL e pesare massimo 10MB.