Robots.txt, noindex y páginas sin enlaces: así descubres dónde está la diferencia.
Snaglist lee el sitemap y luego sigue cada enlace interno. Si encuentra menos páginas de las que menciona el sitemap, la diferencia suele estar en una de estas cosas.
Snaglist siempre sigue robots.txt. Si una carpeta está bloqueada allí, la omitimos. En la exportación aparecen las URLs que no pudimos rastrear por este motivo.
Una página que solo aparece en el sitemap, sin enlace desde otra página, es una huérfana. Los motores de búsqueda la encuentran con dificultad. Snaglist informa de estas páginas por separado.
A veces, URLs antiguas que redirigen o han desaparecido siguen en el sitemap. Entonces, el sitemap menciona más páginas de las que realmente existen.