Robots.txt, noindex und Seiten ohne Link: So findest du heraus, wo der Unterschied liegt.
Snaglist liest die Sitemap und folgt anschließend jedem internen Link. Findet er weniger Seiten als die Sitemap angibt, liegt der Unterschied meist in einem dieser Punkte.
Snaglist befolgt robots.txt immer. Ist ein Verzeichnis dort gesperrt, überspringen wir es. Im Export findest du die Adressen, die wir aus diesem Grund nicht abgerufen haben.
Eine Seite, die nur in der Sitemap steht, aber keinen Link von einer anderen Seite hat, ist ein Waisenkind. Suchmaschinen finden sie schlecht. Snaglist meldet diese Seiten separat.
Alte Adressen, die weiterleiten oder verschwunden sind, bleiben manchmal in der Sitemap stehen. Dann nennt die Sitemap mehr Seiten, als tatsächlich existieren.