Les trois causes les plus fréquentes que nous constatons, et ce que vous pouvez faire à leur sujet.
Si la crawl s’arrête bien plus tôt que prévu, c’est presque toujours l’une de ces trois raisons.
La cause la plus fréquente. Les premières pages passent bien, puis le site nous refuse avec un statut 403 ou 429. Après dix refus consécutifs, Snaglist s’arrête pour ne pas surcharger le site.
Ajoutez SnaglistBot à la liste blanche de votre pare-feu. La procédure est expliquée dans SnaglistBot sur la liste blanche.
Par crawl, Snaglist récupère au maximum 2 000 pages avec Solo, et 10 000 avec Studio et Bureau. Si le site est plus grand, la crawl s’arrête à cette limite.
Snaglist trouve les pages en suivant les liens et en lisant le sitemap. Une page vers laquelle aucun lien ne pointe et qui n’est pas dans le sitemap ne sera trouvée par aucun crawler. Pas même par Google.
Vous ne trouvez pas la solution ? Posez votre question directement depuis la crawl, avec le bouton « Question sur cette crawl ». Nous verrons immédiatement ce qui s’est passé.