Herramientas SEO

Generador de robots.txt online

Cree un robots.txt correcto: elija el modo, añada bloqueos desde los preajustes o los suyos, e indique el sitemap y las directivas extra: el archivo se monta al instante.

Funciona en el navegador: los datos no se envían a ningún servidor
Modo
Preajustes rápidos (añaden bloqueos)

El archivo se coloca en la raíz del sitio: site.ru/robots.txt. Una directiva Disallow vacía significa "todo permitido". Clean-param solo lo entiende Yandex, por eso se saca a una sección aparte User-agent: Yandex.

¿No busca utilidades, sino datos a medida?

Recopilamos y ordenamos datos de sitios web: precios, productos, contactos, reseñas — en el formato y con la frecuencia que necesite.