Die drei häufigsten Ursachen, die wir sehen, und was du dagegen tun kannst.
Stoppt ein Crawl viel früher als erwartet, dann liegt es fast immer an einem dieser drei Gründe.
Der häufigste Grund. Die ersten Seiten funktionieren, dann verweigert die Website uns mit Status 403 oder 429. Nach zehn aufeinanderfolgenden Verweigerungen stoppt Snaglist, um die Website nicht weiter zu belasten.
Setze SnaglistBot auf die Whitelist der Firewall. Wie das geht, steht in SnaglistBot auf die Whitelist setzen.
Pro Crawl lädt Snaglist maximal 2.000 Seiten mit Solo und 10.000 mit Studio und Bureau herunter. Ist die Website größer, stoppt der Crawl an dieser Grenze.
Snaglist findet Seiten, indem es Links folgt und die Sitemap liest. Eine Seite, zu der kein Link führt und die nicht in der Sitemap steht, findet kein Crawler. Auch Google nicht.
Kommst du nicht weiter? Stelle deine Frage direkt aus dem Crawl heraus mit dem Button "Frage zu diesem Crawl". Dann sehen wir sofort, was passiert ist.