UtiliHub
English

Generador de robots.txt

Generá un archivo robots.txt básico.

Cargando herramienta…

Siguiente paso recomendado

Herramientas de desarrollo relacionadas

Después de usar Generador de robots.txt, continúa con Generador de expresiones cron.

Abrir siguiente

Herramientas relacionadas

Mismo tipo de tarea, para seguir en el sitio.

4

Guía de la herramienta

Generador de robots.txt: cómo funciona

Información práctica para entender el resultado y usar bien esta herramienta.

Sobre Generador de robots.txt

Un robots.txt indica a los rastreadores que cooperan qué rutas pueden pedir. Cada grupo empieza con User-agent y sigue con Allow o Disallow. Una línea en blanco separa grupos. Sitemap es una URL completa y va fuera de los grupos.

La prueba de ruta usa la coincidencia más larga: * vale por cualquier texto y $ ancla el final. Si dos reglas empatan en largo, gana Allow. Una ruta sin regla coincidente queda permitida. Es una vista previa, no un rastreo real del sitio.

Disallow: / bloquea todo el host para ese agente. Disallow: /admin bloquea /admin y /admin/users. Googlebot ignora Crawl-delay; otros bots todavía lo leen. Bloquear acá no saca páginas que ya estén indexadas.

No se sube nada. Copiá el archivo o descargá robots.txt y publicalo en la raíz, por ejemplo https://ejemplo.com/robots.txt.

Cómo usarla

  1. 1Elegí un preset o agregá un grupo de user-agent.
  2. 2Sumá rutas Allow y Disallow que empiecen con /.
  3. 3Opcional: crawl-delay, un comentario y la URL https del sitemap.
  4. 4Probá una ruta de ejemplo y copiá o descargá robots.txt.

Preguntas frecuentes

¿Cómo bloqueo todo el sitio?
Usá User-agent: * y Disallow: /. Ese grupo cubre a los agentes sin grupo propio. Una prueba de /blog queda bloqueada.
¿Cómo permito el sitio y oculto /admin?
Allow: / y Disallow: /admin. Gana la coincidencia más larga: /admin/users queda bloqueada y /blog permitida. Las rutas deben empezar con /.
¿Crawl-delay sirve en Google?
No. Googlebot ignora Crawl-delay. Un 10 se escribe para otros bots. Dejalo vacío si no lo necesitás. Un negativo o un texto no numérico se rechaza.
¿Dónde va la línea Sitemap?
Después de los grupos, como Sitemap: https://ejemplo.com/sitemap.xml. Tiene que ser una URL http o https. Si queda vacía, no se escribe.
¿Se sube el archivo?
No. Las reglas y la URL del sitemap se quedan en el navegador. Descargá robots.txt y subilo vos a la raíz del sitio.