Trzy najczęstsze przyczyny, które widzimy, i co możesz z nimi zrobić.
Jeśli crawl kończy się dużo wcześniej niż się spodziewasz, to prawie zawsze chodzi o jedną z tych trzech przyczyn.
Najczęstsza przyczyna. Pierwsze strony działają dobrze, potem strona odrzuca nasze żądania z kodem 403 lub 429. Po dziesięciu odrzuceniach z rzędu Snaglist przerywa crawl, żeby nie obciążać strony.
Dodaj SnaglistBot do białej listy firewalla. Jak to zrobić, dowiesz się w artykule SnaglistBot na białej liście.
Podczas jednego crawla Snaglist pobiera maksymalnie 2 000 stron w Solo oraz 10 000 w Studio i Bureau. Jeśli strona jest większa, crawl zatrzyma się na tym limicie.
Snaglist znajduje strony, podążając za linkami i czytając mapę witryny. Strony, do których nie prowadzi żaden link i które nie znajdują się w mapie witryny, nie znajdzie żaden crawler. Ani Google.
Nie możesz sobie poradzić? Zadaj pytanie bezpośrednio z poziomu crawla, używając przycisku "Pytanie o ten crawl". Wtedy od razu zobaczymy, co się stało.