Snaglist
crawler

Che cos'è questo visitatore?

Snaglist visita i siti web per conto del proprietario o della sua agenzia, per trovare problemi tecnici. Richiede una pagina alla volta, con una pausa, e rispetta robots.txt. Per bloccarlo, usa User-agent: Snaglist in robots.txt.

User-agent: Snaglist