Pegue el contenido de su robots.txt y la dirección de una página: la herramienta determina si el rastreo está permitido para el bot elegido y muestra la regla que se aplicó.
Funciona en el navegador: los datos no se envían a ningún servidorLa comprobación funciona como en Google y Yandex: se elige el grupo del bot (o *) y, entre las reglas aplicables, gana la más larga; a igual longitud, Allow prevalece sobre Disallow. Se admiten * y $ en las rutas. Un Disallow vacío significa "todo permitido".
Recuento de caracteres y píxeles con vista previa del snippet de Google.
Frecuencia de palabras y frasesTop de palabras, bigramas y trigramas del texto, con filtro de stop words.
Generador de robots.txtCree su robots.txt: bloqueos, reglas por bot y enlace al sitemap.
Sitemap.xml desde una lista de URLPegue sus direcciones y obtenga el archivo del mapa del sitio listo.
Recopilamos y ordenamos datos de sitios web: precios, productos, contactos, reseñas — en el formato y con la frecuencia que necesite.