Robots.txt, noindex i strony bez linków: jak sprawdzić, gdzie leży różnica.
Snaglist odczytuje mapę witryny i następnie podąża za każdym linkiem wewnętrznym. Jeśli znajdzie mniej stron niż wymienia mapa, różnica zwykle tkwi w jednym z tych powodów.
Snaglist zawsze przestrzega robots.txt. Jeśli katalog jest tam zablokowany, pomijamy go. W eksporcie znajdziesz adresy, których nie pobraliśmy z tego powodu.
Strona, która znajduje się tylko w mapie witryny, bez linku z innej strony, to sierota. Wyszukiwarki źle ją odnajdują. Snaglist zgłasza takie strony osobno.
Stare adresy, które przekierowują lub zniknęły, czasem pozostają w mapie witryny. Wtedy mapa wymienia więcej stron niż rzeczywiście istnieje.