So lässt du Snaglist durch die Firewall bei Wordfence, Cloudflare und Imunify.
Snaglist stellt sich bei jeder Website höflich vor, mit diesem User-Agent:
Mozilla/5.0 (compatible; Snaglist/1.0; +https://snaglist.eu/bot)
Trotzdem sehen manche Firewalls einen Crawler, der viele Seiten hintereinander abruft, als Angriff. Dann verweigern sie nach einer Weile den Zugriff. Setze Snaglist deshalb auf die Whitelist.
In WordPress: Wordfence, Firewall, Firewall-Optionen. Füge die IP-Adresse von Snaglist zu den erlaubten IP-Adressen hinzu.
Im Dashboard der Domain: Security, WAF, Tools. Erstelle eine IP Access Rule mit der IP-Adresse von Snaglist und wähle Allow.
In cPanel oder DirectAdmin: Imunify360, Firewall. Setze die IP-Adresse von Snaglist auf die Whitelist.
Snaglist crawlt von 178.105.130.16. Starte danach den Crawl neu.