Perché Snaglist segue sempre il robots.txt e come lo vedi nel report.
Snaglist segue sempre il file robots.txt. È una regola fissa e non puoi disattivarla. Saltiamo le directory bloccate per i crawler.
Se vuoi che Snaglist includa una directory, rendila accessibile nel file robots.txt. Fallo solo se anche Google può vederla.
Nell'export trovi gli indirizzi che abbiamo saltato, con la dicitura "Blocked by robots.txt".