Snaglist
crawler

Qu'est-ce que ce visiteur ?

Snaglist visite les sites web pour le compte du propriétaire ou de son agence, afin de trouver les problèmes techniques. Il récupère une page à la fois, avec une pause, et respecte robots.txt. Pour le bloquer, utilisez User-agent: Snaglist dans robots.txt.

User-agent: Snaglist