Alcune delle pagine più importanti di siti molto famosi sono bloccate dal file robots.txt. Anche il tuo sito abusa del robots.txt?

Questo file è stato creato nel giugno 1994 per indicare quali pagine o directory non dovrebbero essere accessibili ai bots (i robots dei motori di ricerca). Molti di questi, tra i quali anche Google, non indicizzano il contenuto delle pagine bloccate dal robots.txt, ma continuano comunque ad includerle nella SERP.

Cos’è una sitemap? Una Sitemap, o site map, è una pagina Web che elenca gerarchicamente tutte le pagine di un sito Web. E’ nata inzialmente per agevolare la navigazione dell utente all interno del sito, ma oggi è sopratutto uno strumento fondamentale per facilitare e velocizzare la scansione da parte dei crawler dei motori di ricerca per l’indicizzazione delle pagine web.
Non tutti sanno però che la sitemap ha dei limiti: può indicizzare al massimo 50.000 URL e pesare massimo 10MB.