Snaglist
crawler

Was ist dieser Besucher?

Snaglist besucht Websites im Auftrag des Inhabers oder seiner Agentur, um technische Probleme zu finden. Es ruft eine Seite nach der anderen ab, mit einer Pause, und respektiert robots.txt. Zum Blockieren nutze User-agent: Snaglist in der robots.txt.

User-agent: Snaglist