Robots.txt, noindex e pagine senza link: ecco come scoprire dove sta la differenza.
Snaglist legge la sitemap e poi segue ogni link interno. Se trova meno pagine di quelle indicate nella sitemap, la differenza di solito risiede in una di queste cose.
Snaglist rispetta sempre il robots.txt. Se una cartella è bloccata lì, la saltiamo. Nell'export trovi gli indirizzi che non abbiamo recuperato per questo motivo.
Una pagina presente solo nella sitemap, senza link da un'altra pagina, è un'orfana. I motori di ricerca la trovano difficilmente. Snaglist segnala queste pagine a parte.
Vecchi indirizzi che reindirizzano o sono scomparsi, a volte rimangono nella sitemap. Così la sitemap indica più pagine di quante ce ne siano realmente.