Como o rastreio do meu site funciona?

Ele começa pelo sitemap. Quando não existe sitemap, ele começa pela home e segue os links internos a partir dela.

O robots.txt é obedecido: página bloqueada ali não é lida.

O que ele grava é o que constrói o mapa: o endereço, a resposta do servidor, o título, o texto e, principalmente, quem aponta para quem. É desse último que saem a Cidadela e o Ermo.