Dlaczego Snaglist zawsze przestrzega robots.txt i jak to widzisz w raporcie.
Snaglist zawsze przestrzega robots.txt. To jest ustalone i nie możesz tego wyłączyć. Pomijamy katalog, który jest zablokowany dla crawlerów.
Chcesz, żeby Snaglist uwzględnił katalog? Odblokuj go w robots.txt. Rób to tylko wtedy, gdy Google też może go zobaczyć.
W eksporcie znajdziesz adresy, które pominęliśmy, z adnotacją "Blocked by robots.txt".