Generador de robots.txt: crea, revisa y descarga tu robots.txt
Crea un robots.txt con ajustes predefinidos para permitir todo, entornos de pruebas y WordPress, una sección de rastreadores de IA (bloquear el entrenamiento, mantener la búsqueda con IA) y avisos de los errores que desindexan sitios.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
Súbelo a la raíz de tu dominio para que se sirva en https://yourdomain.com/robots.txt. Las subcarpetas se ignoran.
Funciona por completo en tu navegador. Nada de lo que introduces se nos envía ni se guarda. Ver todas las herramientas gratis.
¿Encontraste un problema o algo que podría mejorar? Leemos todos los mensajes y lo arreglamos rápido.
Este generador de robots.txt gratis crea el archivo que los rastreadores leen antes que cualquier otra cosa de tu sitio. Elige a qué user agents se aplican las reglas, enumera las rutas permitidas y bloqueadas, añade tu sitemap y descárgalo. Los ajustes predefinidos cubren las situaciones que la gente busca de verdad: permitir todo, bloquear rastreadores de entrenamiento de IA como GPTBot y ClaudeBot manteniendo Google y la búsqueda con IA, bloquear un sitio de pruebas y los valores sensatos para WordPress y comercio electrónico.
robots.txt es pequeño y es fácil equivocarse con consecuencias catastróficas: un solo “Disallow: /” bajo “User-agent: *” elimina un sitio de las búsquedas, y pasa del entorno de pruebas a producción más a menudo de lo que nadie admite. El generador avisa de eso y de los demás errores habituales, y las notas de abajo explican lo que el archivo puede y no puede hacer, incluido el hecho de que controla el rastreo, no la indexación.
Cómo usarla
- Elige el ajuste predefinido más parecido a tu situación, o empieza por “Permitir todo”.
- En Rastreadores de IA, elige permitir todo, bloquear el entrenamiento de IA pero permitir la búsqueda con IA, o bloquear toda la IA; marca o desmarca bots concretos para afinar.
- En cada grupo de reglas, indica los user agents a los que se aplica (* significa todos) y después las rutas que se permiten o se bloquean. Las rutas empiezan por / y son relativas a la raíz del sitio.
- Añade la URL absoluta de tu sitemap; es la única línea que ayuda a la indexación en lugar de restringirla.
- Lee los avisos que aparecen encima del resultado. Corrígelos, salvo que estés bloqueando a propósito los rastreadores en un sitio de pruebas.
- Descarga el robots.txt y súbelo a la raíz de tu dominio, para que se sirva en yourdomain.com/robots.txt. Compruébalo en el informe de robots.txt de Google Search Console.
Preguntas frecuentes
¿robots.txt elimina páginas de Google?
No. Impide el rastreo, no la indexación. Una página bloqueada en robots.txt puede seguir apareciendo en los resultados (sin fragmento) si otras páginas la enlazan. Para mantener una página fuera del índice, permite el rastreo y añade una metaetiqueta o cabecera noindex; Google tiene que leer la página para ver la instrucción. Usa robots.txt para ahorrar presupuesto de rastreo y mantener a los bots fuera del panel de administración, de los resultados de búsqueda internos y de las URL de filtros.
¿Cómo bloqueo los rastreadores de IA sin afectar a la búsqueda?
En la sección de rastreadores de IA, elige “Bloquear el entrenamiento de IA, permitir la búsqueda con IA”. Deja intacto “User-agent: *”, bloquea / para los rastreadores de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot) y permite explícitamente los agentes de búsqueda con IA y de peticiones de usuarios (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User), para que los asistentes puedan seguir citándote y enlazándote. Google-Extended solo controla el entrenamiento de Gemini; Googlebot y la Búsqueda no se ven afectados. robots.txt es voluntario: los rastreadores bien educados lo respetan, los scrapers no.
¿Qué diferencia hay entre GPTBot, OAI-SearchBot y ChatGPT-User?
Son tres agentes de OpenAI con controles de robots.txt independientes. GPTBot recopila contenido que puede usarse para entrenar modelos. OAI-SearchBot indexa páginas para la búsqueda de ChatGPT, así que bloquearlo te elimina de esas respuestas y enlaces. ChatGPT-User descarga una página cuando un usuario se lo pide a ChatGPT, y OpenAI dice que las reglas de robots.txt pueden no aplicarse a esas descargas iniciadas por el usuario. Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) y Perplexity (PerplexityBot, Perplexity-User) usan la misma división.
¿Qué diferencia hay entre Allow y Disallow?
Disallow bloquea rutas; Allow vuelve a abrir una ruta más concreta dentro de una bloqueada, por ejemplo bloquear /wp-admin/ y permitir /wp-admin/admin-ajax.php. Cuando las reglas entran en conflicto, Google aplica la ruta coincidente más específica (la más larga). Un Disallow: vacío significa permitir todo.
¿Puedo usar comodines en las rutas?
Google y Bing admiten * (cualquier secuencia) y $ (final de la URL): Disallow: /*?sort= bloquea cualquier URL que contenga ?sort=, y Disallow: /*.pdf$ bloquea los PDF. Los rastreadores más antiguos o pequeños pueden interpretarlos de forma literal, así que reserva las reglas con comodines para los grandes buscadores y mantén el resto sencillo.
¿Dónde va el robots.txt?
En la raíz de cada host, con el mismo protocolo: https://www.example.com/robots.txt. Un archivo en una subcarpeta se ignora, y example.com y www.example.com necesitan cada uno su propia copia (normalmente idéntica). Debe ser texto plano, en UTF-8 y de menos de 500 KB.
Un robots.txt que hace lo correcto
Para la mayoría de los sitios públicos, el archivo completo es: User-agent: * sin ningún Disallow, más una línea Sitemap. Añade bloqueos solo para espacios de URL realmente infinitos o inútiles para la búsqueda: resultados de búsqueda internos, carrito y pago, administración, combinaciones de parámetros de filtros y ordenación. No bloquees CSS, JavaScript ni imágenes; Google renderiza las páginas y los necesita, y bloquearlos puede perjudicar el posicionamiento.
Los errores que sacan a un sitio de las búsquedas
• Pasar a producción el archivo del entorno de pruebas (Disallow: /). Revisa robots.txt en cada despliegue.
• Bloquear un directorio que contiene el CSS o el JS que el sitio necesita para mostrarse.
• Usar robots.txt para ocultar páginas en lugar de noindex, de modo que siguen en los resultados como URL sin más.
• Una línea Sitemap que apunta a una URL que da 404 o redirige.
• Reglas con rutas que no empiezan por /, que se ignoran sin avisar.
Rastreadores de IA según su finalidad (revisado en octubre de 2026)
• Entrenamiento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, un token de control que lee Googlebot), Applebot-Extended (Apple, un token de control que lee Applebot), CCBot (Common Crawl, cuyo conjunto de datos abierto usan muchos creadores de modelos), Bytespider (ByteDance), Meta-ExternalAgent (Meta), Amazonbot (Amazon).
• Búsqueda con IA: OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity). Bloquearlos elimina tus páginas de las respuestas y citas de esos productos.
• A petición del usuario: ChatGPT-User, Claude-User y Perplexity-User descargan una página porque una persona le pidió a un asistente que la leyera. Los operadores las tratan de forma distinta al rastreo automático, y algunos dicen que robots.txt puede no aplicarse.
• Los nombres retirados, como anthropic-ai y Claude-Web, se mantienen en la lista de bloqueo porque los archivos antiguos todavía los usan; no hacen ningún daño.
Google-Extended no saca un sitio de AI Overviews ni del Modo IA: se construyen a partir del índice normal de Googlebot, así que la única forma de salir con robots.txt es bloquear Googlebot, lo que también te elimina de la Búsqueda. La coincidencia no distingue entre mayúsculas y minúsculas, y cada bot obedece el grupo más específico que lo nombra. robots.txt es una petición; para imponer un bloqueo, usa las reglas de bots de tu CDN o firewall, que pueden verificar los rastreadores por IP o DNS inverso.
Herramientas gratis relacionadas
- Generador de metaetiquetas — Rellena el título, la descripción y los datos de la tarjeta social de una página y obtén un bloque <head> completo y bien escapado, con contadores de longitud en vivo.
- Generador de schema markup — Rellena un formulario y obtén JSON-LD válido para Organization, LocalBusiness, Person, Article, Product, FAQ, Event o Breadcrumbs. Cópialo en el <head>.
- Vista previa de Open Graph — Introduce una URL y mira la tarjeta exacta que mostrarán Facebook, LinkedIn, X y Slack, todas las etiquetas encontradas y lo que falta.