Pourquoi Snaglist suit toujours le fichier robots.txt et comment vous le voyez dans le rapport.
Snaglist respecte toujours le fichier robots.txt. C'est une règle fixe et vous ne pouvez pas la désactiver. Nous sautons tout dossier verrouillé pour les crawlers.
Si vous souhaitez que Snaglist prenne en compte un dossier, autorisez-le dans le fichier robots.txt. Faites cela uniquement si Google est également autorisé à le voir.
Dans l'export, vous trouverez les adresses que nous avons sautées, accompagnées de la mention "Bloqué par robots.txt".