Warum Snaglist immer robots.txt befolgt und wie du das im Bericht siehst.
Snaglist befolgt robots.txt immer. Das ist festgelegt und lässt sich nicht ausschalten. Ein Verzeichnis, das für Crawler gesperrt ist, überspringen wir.
Möchtest du, dass Snaglist ein Verzeichnis doch crawlt, dann gib es in der robots.txt frei. Mach das nur, wenn Google es auch sehen darf.
Im Export findest du die Adressen, die wir übersprungen haben, mit dem Hinweis "Blocked by robots.txt".