Por qué Snaglist siempre sigue el robots.txt y cómo lo ves en el informe.
Snaglist siempre sigue el archivo robots.txt. Esto es fijo y no se puede desactivar. Omitimos cualquier directorio que esté bloqueado para los rastreadores.
Si quieres que Snaglist incluya un directorio, ábrelo en el archivo robots.txt. Hazlo solo si Google también puede verlo.
En la exportación aparecen las URLs que hemos omitido, con la nota "Bloqueado por robots.txt".