De drie oorzaken die we het vaakst zien, en wat je eraan doet.
Stopt een crawl veel eerder dan je verwacht, dan is het bijna altijd een van deze drie.
De meest voorkomende oorzaak. De eerste pagina's gaan goed, daarna weigert de site ons met status 403 of 429. Na tien weigeringen achter elkaar stopt Snaglist, om de site niet te blijven belasten.
Zet SnaglistBot op de witte lijst van de firewall. Hoe dat gaat, staat in SnaglistBot op de witte lijst.
Per crawl haalt Snaglist hooguit 2.000 pagina's op met Solo, en 10.000 met Studio en Bureau. Is de site groter, dan stopt de crawl bij die grens.
Snaglist vindt pagina's door links te volgen en door de sitemap te lezen. Een pagina waar geen link naartoe gaat en die niet in de sitemap staat, vindt geen enkele crawler. Google ook niet.
Kom je er niet uit? Stel je vraag vanaf de crawl zelf, met de knop "Vraag over deze crawl". Dan zien we meteen wat er gebeurde.