Gerador e validador de llms.txt — com regras de robots.txt para crawlers de IA
Crie um llms.txt conforme a especificação a partir de um formulário, uma lista de URLs ou do seu sitemap, valide um arquivo existente e gere regras de robots.txt para crawlers de IA.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
6 links em 3 seções. Segue a estrutura do llmstxt.org. Envie-o para a raiz do seu site para que seja servido em /llms.txt.
Funciona inteiramente no seu navegador. Nada é baixado do seu site e nada do que você cola é enviado. Ver todas as ferramentas grátis.
Encontrou um problema ou algo que poderia ser melhor? Lemos todas as mensagens e corrigimos rápido.
Este gerador de llms.txt monta o arquivo Markdown que diz aos assistentes e agentes de IA o que é o seu site e quais páginas importam. A proposta llms.txt (llmstxt.org) pede um H1 com o nome do site, um resumo de uma linha em uma citação (blockquote), observações opcionais e depois seções H2 que listam links no formato "- [nome](url): notas", com uma seção "Optional" para páginas que um agente pode pular. Preencha o formulário ou cole o seu sitemap ou uma lista de URLs, e o arquivo é escrito exatamente nessa estrutura.
O validador confere um llms.txt existente linha por linha, e a terceira aba escreve regras de robots.txt para os crawlers de IA que importam, separando os bots de treinamento de modelos dos de busca com IA e das buscas acionadas por usuários. Seja realista sobre os dois: o llms.txt é uma proposta que algumas ferramentas de IA leem e muitas ignoram, e o robots.txt é um pedido que crawlers bem-comportados respeitam, não uma tranca.
Como usar
- Informe o nome do site e um resumo de uma frase sobre o que ele é e a quem atende.
- Cole o XML do seu sitemap ou uma lista de URLs e clique em Substituir seções, ou digite os links como Título | URL | notas, um por linha.
- Renomeie as seções, corte páginas que não ajudariam uma IA a responder perguntas e mova as páginas apenas desejáveis para Optional.
- Copie ou baixe o llms.txt e envie-o para a raiz do site, para que ele carregue em https://yourdomain/llms.txt (com o seu domínio).
- Abra a aba robots.txt para crawlers de IA, escolha uma predefinição, ajuste bots individuais e acrescente as regras ao seu robots.txt existente.
Perguntas frequentes
O que é llms.txt?
O llms.txt é um arquivo Markdown na raiz de um site, proposto por Jeremy Howard em 2024 no llmstxt.org, que dá aos modelos de linguagem um mapa curto e selecionado do site: um nome, um resumo e listas das páginas mais úteis, de preferência com versões .md limpas. Ele foi pensado para ser lido no momento da inferência, quando um assistente ou agente precisa do seu conteúdo, e não por crawlers de mecanismos de busca.
O ChatGPT, o Claude ou o Google usam o llms.txt?
Nenhuma grande empresa de IA se comprometeu a usar o llms.txt como sinal de ranking ou de rastreamento, e o Google disse que não o usa na Pesquisa. O uso prático hoje é com assistentes de programação, agentes e ferramentas de documentação que o buscam quando apontados para um site, e é por isso que sites de documentação para desenvolvedores o adotaram primeiro. Publicá-lo custa pouco, mas não espere mudança de tráfego só por causa dele.
Qual é a diferença entre llms.txt e llms-full.txt?
O llms.txt é o índice: uma lista curta de links com notas. O llms-full.txt é uma convenção usada por várias plataformas de documentação em que o texto completo da documentação é concatenado em um único arquivo Markdown, para que uma ferramenta carregue tudo em uma só requisição. Esta ferramenta gera o llms.txt; deixe o llms-full.txt para sites de documentação em que todo o conteúdo cabe no contexto de um modelo.
Como bloqueio o GPTBot e outros crawlers de IA?
Acrescente ao robots.txt um grupo com o user agent do crawler e Disallow: /, por exemplo User-agent: GPTBot seguido de Disallow: /. Vários user agents podem compartilhar um grupo, listados em linhas User-agent consecutivas. Os crawlers de treinamento da OpenAI (GPTBot), Anthropic (ClaudeBot), Google (o token Google-Extended), Apple (Applebot-Extended) e Common Crawl (CCBot) declaram que respeitam essas regras.
Bloquear crawlers de IA tira o meu site das respostas do ChatGPT ou do Claude?
Depende de qual bot você bloqueia. O GPTBot e o ClaudeBot coletam dados de treinamento; bloqueá-los não impede o OAI-SearchBot nem o Claude-SearchBot de indexar páginas para respostas e citações de busca com IA. A predefinição “Bloquear treinamento, permitir busca” mantém você visível na busca com IA enquanto fica de fora do treinamento. Buscadores acionados por usuários, como ChatGPT-User e Perplexity-User, agem por uma pessoa em tempo real, e a OpenAI e a Perplexity dizem que o robots.txt pode não se aplicar a eles.
O Google-Extended afeta o meu ranking no Google?
Não. O Google-Extended é um token do robots.txt, e não um crawler separado; quem faz a coleta continua sendo o Googlebot. Bloqueá-lo diz ao Google para não usar o seu conteúdo no treinamento dos modelos Gemini nem para fundamentar respostas do Gemini, e o Google afirma que isso não tem efeito na inclusão nem no ranking na Pesquisa Google, incluindo as Visões Gerais criadas por IA, que são controladas pelas regras do Googlebot.
Referência do formato llms.txt
• Linha 1: "# Nome". O H1 é o único elemento obrigatório, e deve haver exatamente um.
• Depois, uma citação opcional "> resumo": os fatos principais de que um agente precisa para entender tudo o que vem abaixo.
• Depois, texto livre opcional (parágrafos ou listas, mas sem títulos) explicando como usar os links.
• Depois, qualquer número de títulos "## Seção", cada um seguido de uma lista Markdown em que cada item começa com um link: "- [Nome da página](https://url): nota opcional".
• Uma seção chamada "## Optional" reúne links que podem ser pulados quando é preciso um contexto menor. Por convenção, ela vem por último.
A proposta também sugere servir uma cópia limpa em Markdown das páginas importantes na mesma URL com .md no final (page.html.md, ou index.html.md para uma pasta). Apontar para essas versões .md no llms.txt dá aos agentes texto sem navegação nem scripts.
Crawlers de IA por finalidade
• Treinamento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, só token), Applebot-Extended (Apple, só token), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Bytespider (ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• Busca e respostas com IA: OAI-SearchBot (busca do ChatGPT), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• Buscas acionadas por usuários: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. Estes buscam uma página porque uma pessoa pediu; a OpenAI e a Perplexity dizem que o robots.txt pode não se aplicar, enquanto a Anthropic diz que o Claude-User o respeita.
• Fora desta lista de propósito: Googlebot, Bingbot e Applebot. Eles alimentam a busca comum (e as Visões Gerais criadas por IA do Google e as respostas do Copilot no Bing), então bloqueá-los tira você dos resultados de busca.
O Bytespider é amplamente apontado como um bot que ignora o robots.txt. Para bots que não respeitam as regras, use as regras de bots da sua CDN ou do seu firewall, que podem identificar bots verificados ou faixas de IP.
Qual predefinição escolher
Permitir toda IA serve para sites de documentação, produtos e marketing que querem o máximo de presença nas respostas de IA. Bloquear treinamento, permitir busca serve para publishers e criadores que querem ser citados e linkados pela busca do ChatGPT, pelo Claude e pelo Perplexity sem contribuir para o treinamento de modelos. Bloquear toda IA serve para conteúdo pago, privado ou licenciado, ao custo de sumir das ferramentas de busca com IA.
As mudanças não são retroativas: o conteúdo já coletado continua nos conjuntos de dados existentes. Os crawlers releem o robots.txt periodicamente, normalmente em até um dia, e os índices de busca com IA são atualizados nos seus próprios prazos.
Ferramentas grátis relacionadas
- Gerador de robots.txt — Monte um robots.txt com predefinições para permitir tudo, homologação e WordPress, uma seção de crawlers de IA (bloquear treinamento, manter a busca com IA) e avisos sobre os erros que tiram sites do índice.
- Gerador de meta tags — Preencha o título, a descrição e os dados do card social de uma página e receba um bloco <head> completo, com escape correto e contadores de tamanho em tempo real.
- Gerador de schema markup — Preencha um formulário e obtenha JSON-LD válido para Organization, LocalBusiness, Person, Article, Product, FAQ, Event ou Breadcrumbs. Copie para o <head>.
- Gerador de configuração MCP — Defina um servidor MCP uma vez e obtenha o arquivo de configuração ou o comando exato para Claude Desktop, Claude Code, Cursor, VS Code, Windsurf e Codex.