Rolf Broer, dopo aver creato alcuni test per vedere come reagisce googlebot su diverse configurazioni di link e pagine, ha da poco pubblicato un interessante articolo sul crawl di google e la sua capacità di scansione.

Per prima cosa ha notato che l’utilizzo di una sitemap influisce in modo positivo, inoltre, sebbene google consigli di non inserire più di 100 link in una pagina, il test ha dimostrato che ne indicizza un numero maggiore se è necessario.
Matt Cutts ha affermato che “la quantità di pagine scansionate è grosso modo proporzionale al PageRank”.

Cos’è una sitemap? Una Sitemap, o site map, è una pagina Web che elenca gerarchicamente tutte le pagine di un sito Web. E’ nata inzialmente per agevolare la navigazione dell utente all interno del sito, ma oggi è sopratutto uno strumento fondamentale per facilitare e velocizzare la scansione da parte dei crawler dei motori di ricerca per l’indicizzazione delle pagine web.
Non tutti sanno però che la sitemap ha dei limiti: può indicizzare al massimo 50.000 URL e pesare massimo 10MB.