Snaglist
crawler

Kim jest ten odwiedzający?

Snaglist odwiedza witryny w imieniu właściciela lub jego agencji, aby znaleźć problemy techniczne. Pobiera po jednej stronie, z przerwą, i respektuje robots.txt. Aby go zablokować, użyj User-agent: Snaglist w robots.txt.

User-agent: Snaglist