Rastrear la estructura de un sitio consiste en recorrer automáticamente todas sus páginas con un programa rastreador (crawler) y construir el árbol completo de secciones y URL. El crawler se comporta como el robot de un buscador: sigue los enlaces internos y registra cada página, su código de respuesta, su nivel de profundidad y las relaciones entre secciones. Al final, usted ve el sitio tal y como lo ve Google — con todos sus duplicados, enlaces rotos y páginas «huérfanas».
Este material forma parte de nuestra serie sobre web scraping en SEO. Veamos para qué sirve este recorrido, qué muestra y con qué programas se hace.
Para qué rastrear la estructura
Un sitio de cientos de miles de páginas no se revisa a mano. Y son precisamente los problemas estructurales los que más a menudo frenan el posicionamiento: el robot gasta el presupuesto de rastreo en duplicados y URL basura, las páginas importantes quedan en el quinto nivel de profundidad y se indexan mal, los enlaces internos llevan a errores 404. El rastreo de la estructura responde a estas preguntas:
- Cuántas páginas reales tiene el sitio y cómo se reparten entre las secciones.
- Qué páginas devuelven errores (404, 5xx) y adónde llevan las redirecciones.
- Dónde se han formado duplicados de URL y de contenido.
- A qué profundidad están «enterradas» las secciones importantes (nivel de anidamiento).
- Cómo está montado el enlazado interno y si existen páginas «colgadas».
Estos datos sirven de base para unas especificaciones técnicas de mejora y ayudan a diseñar una estructura lógica y plana, cómoda tanto para el usuario como para el robot.
Qué recopila el crawler
Durante el recorrido, por cada URL el programa registra el código de respuesta del servidor, la propia dirección, el nivel de profundidad, los enlaces internos entrantes y salientes y, de paso, los metadatos de la página: title, description, encabezados. En esencia, el rastreo de la estructura y el scraping de etiquetas y encabezados se realizan en una misma pasada: usted obtiene a la vez el árbol del sitio y la tabla de metadatos.
Un punto fuerte aparte de los crawlers modernos es la construcción del árbol visual. Se puede ver la estructura de forma gráfica, evaluar la distribución de las páginas por niveles y localizar de inmediato las anomalías: secciones infladas, ramas sin salida, páginas sin enlaces entrantes.
Con qué rastrear la estructura: panorama de programas
Screaming Frog SEO Spider — el estándar mundial. Escanea el sitio siguiendo los enlaces internos, recopila metadatos, códigos de respuesta y enlazado interno, y construye la estructura. Sabe visualizar el árbol de varias maneras (Crawl Tree Graph, Directory Tree y otras), ejecutar JavaScript para rastrear sitios JS y extraer datos arbitrarios por XPath mediante la sección Custom Extraction. Incluye un modo de comparación de dos rastreos — cómodo para seguir los cambios tras las mejoras. La versión gratuita rastrea hasta 500 URL, suficiente para auditar un sitio pequeño.
Sitebulb — un crawler de escritorio orientado a auditorías: acompaña cada problema detectado con explicaciones y destaca por sus visualizaciones de la estructura, con mapas de rastreo que hacen evidentes las secciones sobredimensionadas y las ramas aisladas. Buena opción cuando el informe también debe entenderlo alguien no técnico.
Ahrefs Site Audit y SEMrush Site Audit — rastreadores en la nube dentro de las grandes plataformas SEO. No exigen instalar nada, permiten programar rastreos periódicos y cruzan los problemas técnicos detectados con el resto de los datos de la plataforma (posiciones, enlaces). Convienen cuando ya trabaja en uno de estos servicios.
Google Search Console — no es un crawler, pero complementa el rastreo: su informe de indexación muestra cuáles de las páginas encontradas por el crawler están realmente en el índice de Google y cuáles quedaron fuera, y por qué motivo.
La elección se reduce al alcance y al presupuesto: para auditorías puntuales de sitios pequeños basta la versión gratuita de Screaming Frog; para el trabajo regular con proyectos grandes se toman la licencia completa, Sitebulb o los rastreadores en la nube.
Rastrear la estructura de los sitios de la competencia
El crawler puede lanzarse no solo sobre su propio sitio, sino también sobre el de un competidor — por ejemplo, para descargar la estructura de un gran catálogo o de una tienda online. Mediante consultas XPath (digamos, sobre el marcado de las migas de pan) se recopila el árbol de categorías, lo que ayuda a diseñar la estructura propia y a descubrir secciones pasadas por alto. Es una tarea vecina de la recopilación de palabras clave: la estructura del competidor sugiere qué grupos de consultas no ha cubierto usted todavía.
Si lo que necesita entender no es la estructura de un sitio concreto, sino quién ocupa el top para sus consultas, eso ya es la extracción de la SERP de Google — un servicio aparte de nuestra agencia.