Voici comment autoriser Snaglist à traverser le pare-feu avec Wordfence, Cloudflare et Imunify.
Snaglist se présente correctement sur chaque site, avec cet user-agent :
Mozilla/5.0 (compatible; Snaglist/1.0; +https://snaglist.eu/bot)
Pourtant, certains pare-feux considèrent qu'un crawler qui récupère beaucoup de pages à la suite est une attaque. Ils finissent alors par le bloquer. Ajoutez donc Snaglist à la liste blanche.
Dans WordPress : Wordfence, Firewall, Firewall Options. Ajoutez l’adresse IP de Snaglist aux adresses IP autorisées.
Dans le tableau de bord du domaine : Security, WAF, Tools. Créez une règle d’accès IP avec l’adresse IP de Snaglist et choisissez Allow.
Dans cPanel ou DirectAdmin : Imunify360, Firewall. Ajoutez l’adresse IP de Snaglist à la liste blanche.
Snaglist crawle depuis 178.105.130.16. Relancez ensuite le crawl.