Wie funktioniert das Crawling meiner Website?

Es beginnt bei der Sitemap. Gibt es keine Sitemap, startet es auf der Startseite und folgt von dort den internen Links.

Die robots.txt wird respektiert: Was dort gesperrt ist, wird nicht gelesen.

Gespeichert wird, was die Karte aufbaut: die Adresse, die Serverantwort, der Titel, der Text und vor allem, wer auf wen verweist. Aus dem Letzten entstehen Zitadelle und Ödland.