¿Cómo funciona el rastreo de mi sitio?

Empieza por el sitemap. Si no hay sitemap, empieza por la home y sigue los enlaces internos a partir de ahí.

El robots.txt se respeta: una página bloqueada ahí no se lee.

Lo que guarda es lo que construye el mapa: la dirección, la respuesta del servidor, el título, el texto y, sobre todo, quién apunta a quién. De esto último salen la Ciudadela y el Yermo.