Generador y validador de llms.txt, con reglas de robots.txt para rastreadores de IA
Crea un llms.txt conforme a la especificación a partir de un formulario, una lista de URL o tu sitemap, valida uno existente y genera reglas de robots.txt para los rastreadores de IA.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
6 enlaces en 3 secciones. Cumple la estructura de llmstxt.org. Súbelo a la raíz de tu sitio para que se sirva en /llms.txt.
Funciona por completo en tu navegador. No se descarga nada de tu sitio y no se sube nada de lo que pegas. Ver todas las herramientas gratis.
¿Encontraste un problema o algo que podría mejorar? Leemos todos los mensajes y lo arreglamos rápido.
Este generador de llms.txt crea el archivo Markdown que explica a los asistentes y agentes de IA qué es tu sitio y qué páginas importan. La propuesta llms.txt (llmstxt.org) pide un H1 con el nombre del sitio, un resumen de una línea en una cita, notas opcionales y después secciones H2 que enumeran enlaces como "- [nombre](url): notas", con una sección "Optional" para las páginas que un agente puede omitir. Rellena el formulario o pega tu sitemap o una lista de URL, y el archivo se escribe exactamente con esa estructura.
El validador revisa línea a línea un llms.txt existente, y la tercera pestaña escribe reglas de robots.txt para los rastreadores de IA que importan, separando los bots de entrenamiento de modelos de los de búsqueda con IA y de los que acceden a petición del usuario. Sé realista con ambos: llms.txt es una propuesta que algunas herramientas de IA leen y muchas ignoran, y robots.txt es una petición que los rastreadores bien educados respetan, no un candado.
Cómo usarla
- Introduce el nombre de tu sitio y un resumen de una frase de qué es y a quién sirve.
- Pega el XML de tu sitemap o una lista de URL y haz clic en Reemplazar secciones, o escribe los enlaces como Título | URL | notas, uno por línea.
- Renombra las secciones, quita las páginas que no ayudarían a una IA a responder preguntas y pasa las páginas prescindibles a Optional.
- Copia o descarga el llms.txt y súbelo a la raíz de tu sitio para que se cargue en https://yourdomain/llms.txt.
- Abre la pestaña de rastreadores de IA, elige un ajuste predefinido, ajusta los bots uno a uno y añade las reglas a tu robots.txt actual.
Preguntas frecuentes
¿Qué es llms.txt?
llms.txt es un archivo Markdown en la raíz de un sitio web, propuesto por Jeremy Howard en 2024 en llmstxt.org, que ofrece a los modelos de lenguaje un mapa breve y seleccionado del sitio: un nombre, un resumen y listas de las páginas más útiles, idealmente con versiones .md limpias. Está pensado para leerse en el momento de la inferencia, cuando un asistente o un agente necesita tu contenido, y no para los rastreadores de los buscadores.
¿ChatGPT, Claude o Google usan llms.txt?
Ninguna gran empresa de IA se ha comprometido a usar llms.txt como señal de posicionamiento o de rastreo, y Google ha dicho que no lo usa para la Búsqueda. Su uso práctico hoy está en los asistentes de programación, los agentes y las herramientas de documentación que lo descargan cuando se les indica un sitio; por eso los sitios de documentación para desarrolladores fueron los primeros en adoptarlo. Publicarlo cuesta poco, pero no esperes un cambio de tráfico solo por eso.
¿Qué diferencia hay entre llms.txt y llms-full.txt?
llms.txt es el índice: una lista breve de enlaces con notas. llms-full.txt es una convención que usan varias plataformas de documentación en la que el texto completo de la documentación se concatena en un solo archivo Markdown, para que una herramienta pueda cargarlo todo en una única petición. Esta herramienta genera llms.txt; reserva llms-full.txt para sitios de documentación cuyo contenido completo quepa en el contexto de un modelo.
¿Cómo bloqueo GPTBot y otros rastreadores de IA?
Añade a robots.txt un grupo con el user agent del rastreador y Disallow: /, por ejemplo User-agent: GPTBot seguido de Disallow: /. Varios user agents pueden compartir un grupo si los pones en líneas User-agent consecutivas. Los rastreadores de entrenamiento de OpenAI (GPTBot), Anthropic (ClaudeBot), Google (el token Google-Extended), Apple (Applebot-Extended) y Common Crawl (CCBot) afirman que respetan estas reglas.
¿Bloquear los rastreadores de IA hará que mi sitio desaparezca de las respuestas de ChatGPT o Claude?
Depende de qué bot bloquees. GPTBot y ClaudeBot recopilan datos de entrenamiento; bloquearlos no impide que OAI-SearchBot o Claude-SearchBot indexen las páginas para las respuestas y citas de la búsqueda con IA. El ajuste "Bloquear entrenamiento, permitir búsqueda" te mantiene visible en la búsqueda con IA mientras te excluyes del entrenamiento. Los bots que actúan a petición del usuario, como ChatGPT-User y Perplexity-User, actúan en nombre de una persona en tiempo real, y OpenAI y Perplexity dicen que robots.txt puede no aplicarse a ellos.
¿Google-Extended afecta a mi posicionamiento en Google?
No. Google-Extended es un token de robots.txt, no un rastreador aparte; quien descarga las páginas sigue siendo Googlebot. Bloquearlo indica a Google que no use tu contenido para entrenar los modelos Gemini ni para fundamentar las respuestas de Gemini, y Google afirma que no tiene ningún efecto en la inclusión ni en el posicionamiento en la Búsqueda de Google, incluidas las AI Overviews, que se controlan con las reglas de Googlebot.
Referencia del formato llms.txt
• Línea 1: "# Nombre". El H1 es el único elemento obligatorio y debe haber exactamente uno.
• Después, una cita "> resumen" opcional: los datos clave que un agente necesita para entender todo lo que sigue.
• Después, texto libre opcional (párrafos o listas, pero sin encabezados) que explica cómo usar los enlaces.
• Después, cualquier número de encabezados "## Sección", cada uno seguido de una lista Markdown en la que cada elemento empieza por un enlace: "- [Nombre de la página](https://url): nota opcional".
• Una sección llamada "## Optional" contiene enlaces que se pueden omitir cuando hace falta un contexto más corto. Por convención va al final.
La propuesta también sugiere servir una copia Markdown limpia de las páginas importantes en la misma URL con .md añadido (page.html.md, o index.html.md para una carpeta). Enlazar esas versiones .md desde llms.txt da a los agentes el texto sin navegación ni scripts.
Rastreadores de IA según su finalidad
• Entrenamiento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, solo token), Applebot-Extended (Apple, solo token), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Bytespider (ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• Búsqueda y respuestas con IA: OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• Accesos a petición del usuario: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. Descargan una página porque una persona lo ha pedido; OpenAI y Perplexity dicen que robots.txt puede no aplicarse, mientras que Anthropic dice que Claude-User lo respeta.
• Fuera de esta lista a propósito: Googlebot, Bingbot y Applebot. Alimentan la búsqueda normal (y las AI Overviews de Google y las respuestas de Copilot de Bing), así que bloquearlos te elimina de los resultados de búsqueda.
Se ha informado ampliamente de que Bytespider ignora robots.txt. Para los bots que no cumplen, usa las reglas de bots de tu CDN o firewall, que pueden filtrar por identidad verificada del bot o por rangos de IP.
Qué ajuste predefinido elegir
Permitir todo es adecuado para sitios de documentación, de producto y de marketing que quieren la máxima presencia en las respuestas de IA. Bloquear el entrenamiento y permitir la búsqueda es adecuado para editores y creadores que quieren que ChatGPT search, Claude y Perplexity los citen y enlacen sin contribuir al entrenamiento de modelos. Bloquear toda la IA es adecuado para contenido de pago, privado o con licencia, a cambio de desaparecer de las herramientas de búsqueda con IA.
Los cambios no son retroactivos: el contenido ya recopilado se queda en los conjuntos de datos existentes. Los rastreadores vuelven a leer robots.txt periódicamente, normalmente en menos de un día, y los índices de búsqueda con IA se actualizan según su propio calendario.
Herramientas gratis relacionadas
- Generador de robots.txt — Crea un robots.txt con ajustes predefinidos para permitir todo, entornos de pruebas y WordPress, una sección de rastreadores de IA (bloquear el entrenamiento, mantener la búsqueda con IA) y avisos de los errores que desindexan sitios.
- Generador de metaetiquetas — Rellena el título, la descripción y los datos de la tarjeta social de una página y obtén un bloque <head> completo y bien escapado, con contadores de longitud en vivo.
- Generador de schema markup — Rellena un formulario y obtén JSON-LD válido para Organization, LocalBusiness, Person, Article, Product, FAQ, Event o Breadcrumbs. Cópialo en el <head>.
- Generador de configuración MCP — Define un servidor MCP una sola vez y obtén el archivo de configuración o el comando exacto para Claude Desktop, Claude Code, Cursor, VS Code, Windsurf y Codex.