Gerador de robots.txt — crie, verifique e baixe o robots.txt
Monte um robots.txt com predefinições para permitir tudo, homologação e WordPress, uma seção de crawlers de IA (bloquear treinamento, manter a busca com IA) e avisos sobre os erros que tiram sites do índice.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
Envie-o para a raiz do seu domínio, para que seja servido em https://yourdomain.com/robots.txt. Subpastas são ignoradas.
Funciona totalmente no seu navegador. Nada do que você digita é enviado para nós nem armazenado. Ver todas as ferramentas grátis.
Encontrou um problema ou algo que poderia ser melhor? Lemos todas as mensagens e corrigimos rápido.
Este gerador de robots.txt grátis monta o arquivo que os crawlers leem antes de qualquer outra coisa no seu site. Escolha a quais user agents as regras se aplicam, liste os caminhos permitidos e bloqueados, acrescente o seu sitemap e baixe. As predefinições cobrem as situações que as pessoas realmente pesquisam: permitir tudo, bloquear crawlers de treinamento de IA como GPTBot e ClaudeBot mantendo o Google e a busca com IA, trancar um site de homologação e os padrões sensatos para WordPress e e-commerce.
O robots.txt é pequeno e fácil de errar de forma catastrófica: um único “Disallow: /” sob “User-agent: *” tira um site da busca, e ele vai da homologação para a produção com mais frequência do que qualquer um admite. O gerador avisa sobre isso e sobre os outros erros comuns, e as notas abaixo explicam o que o arquivo pode e não pode fazer, incluindo o fato de que ele controla o rastreamento, e não a indexação.
Como usar
- Escolha a predefinição mais próxima da sua situação ou comece por “Permitir tudo”.
- Em Crawlers de IA, escolha “Permitir todos os crawlers de IA”, “Bloquear treinamento de IA, permitir busca com IA” ou “Bloquear todos os crawlers de IA”; marque ou desmarque bots individuais para ajustar.
- Para cada grupo de regras, liste os user agents aos quais ele se aplica (* significa todos) e depois os caminhos a permitir ou bloquear. Os caminhos começam com / e são relativos à raiz do site.
- Acrescente a URL absoluta do seu sitemap; é a única linha que ajuda a indexação em vez de restringi-la.
- Leia os avisos exibidos acima da saída. Corrija-os, a menos que esteja bloqueando crawlers de propósito em um site de homologação.
- Baixe o robots.txt e envie-o para a raiz do seu domínio, para que seja servido em yourdomain.com/robots.txt. Confira no relatório de robots.txt do Google Search Console.
Perguntas frequentes
O robots.txt remove páginas do Google?
Não. Ele impede o rastreamento, não a indexação. Uma página bloqueada no robots.txt ainda pode aparecer nos resultados (sem snippet) se outras páginas apontarem para ela. Para manter uma página fora do índice, permita o rastreamento e acrescente uma meta tag ou cabeçalho noindex; o Google precisa ler a página para ver a instrução. Use o robots.txt para economizar orçamento de rastreamento e manter os bots longe de URLs de administração, de resultados de busca interna e de filtros facetados.
Como bloqueio crawlers de IA sem afetar a busca?
Na seção de crawlers de IA, escolha “Bloquear treinamento de IA, permitir busca com IA”. Isso não mexe em “User-agent: *”, bloqueia / para os crawlers de treinamento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot) e permite explicitamente os agentes de busca com IA e de solicitação de usuários (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User), para que os assistentes ainda possam citar você e criar links para o seu site. O Google-Extended controla só o treinamento do Gemini; o Googlebot e a Pesquisa não são afetados. O robots.txt é voluntário: crawlers bem-comportados o respeitam, scrapers não.
Qual é a diferença entre GPTBot, OAI-SearchBot e ChatGPT-User?
São três agentes da OpenAI com controles separados no robots.txt. O GPTBot coleta conteúdo que pode ser usado para treinar modelos. O OAI-SearchBot indexa páginas para a busca do ChatGPT, então bloqueá-lo tira você dessas respostas e links. O ChatGPT-User busca uma página quando um usuário pede ao ChatGPT, e a OpenAI diz que as regras do robots.txt podem não se aplicar a essas buscas iniciadas pelo usuário. A Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) e a Perplexity (PerplexityBot, Perplexity-User) usam a mesma divisão.
Qual é a diferença entre Allow e Disallow?
Disallow bloqueia caminhos; Allow reabre um caminho mais específico dentro de um bloqueado, por exemplo bloqueando /wp-admin/ e permitindo /wp-admin/admin-ajax.php. Quando as regras entram em conflito, o Google aplica o caminho correspondente mais específico (o mais longo). Um Disallow: vazio significa liberar tudo.
Posso usar curingas nos caminhos?
Google e Bing aceitam * (qualquer sequência) e $ (fim da URL): Disallow: /*?sort= bloqueia qualquer URL que contenha ?sort=, e Disallow: /*.pdf$ bloqueia PDFs. Crawlers mais antigos ou menores podem interpretar esses caracteres literalmente, então use regras com curingas para os grandes buscadores e mantenha o resto simples.
Onde fica o robots.txt?
Na raiz de cada host, no mesmo protocolo: https://www.example.com/robots.txt. Um arquivo em uma subpasta é ignorado, e example.com e www.example.com precisam cada um da sua própria cópia (normalmente idêntica). Ele precisa ser texto simples, em UTF-8, com menos de 500 KB.
Um robots.txt que faz as coisas certas
Para a maioria dos sites públicos, o arquivo inteiro é: User-agent: * sem bloqueios, mais uma linha Sitemap. Acrescente bloqueios só para espaços de URL que sejam realmente infinitos ou inúteis para a busca: resultados de busca interna, carrinho e checkout, administração, combinações de parâmetros de filtros e ordenação. Não bloqueie CSS, JavaScript nem imagens; o Google renderiza as páginas e precisa deles, e bloqueá-los pode prejudicar o ranking.
Os erros que tiram sites da busca
• Publicar em produção o arquivo de homologação (Disallow: /). Confira o robots.txt em todo deploy.
• Bloquear uma pasta que contém o CSS ou JS de que o site precisa para ser renderizado.
• Usar o robots.txt para esconder páginas em vez do noindex, o que as deixa nos resultados como URLs sem descrição.
• Uma linha de sitemap apontando para uma URL que dá 404 ou redireciona.
• Regras com caminhos que não começam com /, que são ignoradas sem aviso.
Crawlers de IA por finalidade (verificado em outubro de 2026)
• Treinamento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, um token de controle lido pelo Googlebot), Applebot-Extended (Apple, um token de controle lido pelo Applebot), CCBot (Common Crawl, cujo conjunto de dados aberto é usado por muitos criadores de modelos), Bytespider (ByteDance), Meta-ExternalAgent (Meta), Amazonbot (Amazon).
• Busca com IA: OAI-SearchBot (busca do ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity). Bloqueá-los tira as suas páginas das respostas e citações desses produtos.
• Solicitados por usuários: ChatGPT-User, Claude-User e Perplexity-User buscam uma página porque uma pessoa pediu a um assistente que a lesse. Os operadores tratam essas buscas de forma diferente do rastreamento automático, e alguns dizem que o robots.txt pode não se aplicar.
• Nomes aposentados, como anthropic-ai e Claude-Web, continuam na lista de bloqueio porque arquivos antigos ainda os usam; eles não fazem mal.
O Google-Extended não tira um site das Visões Gerais criadas por IA nem do Modo IA: eles são montados a partir do índice normal do Googlebot, então a única saída pelo robots.txt é bloquear o Googlebot, o que também tira você da Pesquisa. A correspondência não diferencia maiúsculas de minúsculas, e cada bot obedece ao grupo mais específico que o nomeia. O robots.txt é um pedido; para impor um bloqueio, use as regras de bots da sua CDN ou firewall, que podem verificar os crawlers por IP ou DNS reverso.
Ferramentas grátis relacionadas
- Gerador de meta tags — Preencha o título, a descrição e os dados do card social de uma página e receba um bloco <head> completo, com escape correto e contadores de tamanho em tempo real.
- Gerador de schema markup — Preencha um formulário e obtenha JSON-LD válido para Organization, LocalBusiness, Person, Article, Product, FAQ, Event ou Breadcrumbs. Copie para o <head>.
- Prévia de Open Graph — Digite uma URL e veja exatamente o card que Facebook, LinkedIn, X e Slack vão mostrar, todas as tags encontradas e o que está faltando.