Snaglist
crawler

Wat is deze bezoeker?

Snaglist bezoekt websites in opdracht van de eigenaar of diens bureau, om technische problemen te vinden. Hij haalt één pagina tegelijk op, met een pauze, en houdt zich aan robots.txt. Wilt u hem weren: User-agent: Snaglist in robots.txt.

User-agent: Snaglist