Waarom Snaglist robots.txt altijd volgt, en hoe je dat ziet in het rapport.
Snaglist volgt robots.txt altijd. Dat staat vast en kun je niet uitzetten. Een map die voor crawlers op slot staat, slaan we over.
Wil je dat Snaglist een map wel meeneemt, zet hem dan open in robots.txt. Doe dat alleen als Google hem ook mag zien.
In de export staan de adressen die we overgeslagen hebben, met "Blocked by robots.txt" erbij.