Robots.txt, noindex en pagina's zonder link: zo zoek je uit waar het verschil zit.
Snaglist leest de sitemap en volgt daarna elke interne link. Vindt hij minder pagina's dan de sitemap noemt, dan zit het verschil meestal in een van deze dingen.
Snaglist volgt robots.txt altijd. Staat een map daar op slot, dan slaan we hem over. In de export staan de adressen die we om die reden niet ophaalden.
Een pagina die alleen in de sitemap staat, zonder link vanaf een andere pagina, is een wees. Zoekmachines vinden hem slecht. Snaglist meldt die pagina's apart.
Oude adressen die doorsturen of verdwenen zijn, blijven soms in de sitemap staan. Dan noemt de sitemap meer pagina's dan er echt zijn.