Robots.txt, noindex et pages sans lien : comment identifier la différence.
Snaglist lit le sitemap et suit ensuite chaque lien interne. S'il trouve moins de pages que celles mentionnées dans le sitemap, la différence réside généralement dans l'un de ces éléments.
Snaglist respecte toujours le fichier robots.txt. Si un dossier y est bloqué, nous le sautons. Dans l'export, vous trouverez les adresses que nous n'avons pas pu récupérer pour cette raison.
Une page qui n'apparaît que dans le sitemap, sans lien depuis une autre page, est une orpheline. Les moteurs de recherche la trouvent difficilement. Snaglist signale ces pages séparément.
D'anciennes adresses qui redirigent ou ont disparu restent parfois dans le sitemap. Celui-ci mentionne alors plus de pages qu'il n'en existe réellement.