Zo laat je Snaglist door de firewall, bij Wordfence, Cloudflare en Imunify.
Snaglist stelt zich bij elke site netjes voor, met deze user-agent:
Mozilla/5.0 (compatible; Snaglist/1.0; +https://snaglist.eu/bot)
Toch zien sommige firewalls een crawler die veel pagina's achter elkaar ophaalt als aanval. Dan gaan ze na een tijdje weigeren. Zet Snaglist daarom op de witte lijst.
In WordPress: Wordfence, Firewall, Firewall Options. Zet het IP-adres van Snaglist bij de toegestane IP-adressen.
In het dashboard van het domein: Security, WAF, Tools. Maak een IP Access Rule met het IP-adres van Snaglist en kies Allow.
In cPanel of DirectAdmin: Imunify360, Firewall. Zet het IP-adres van Snaglist op de witte lijst.
Snaglist crawlt vanaf 178.105.130.16. Start daarna de crawl opnieuw.