Pular para o conteúdo

Verificador de rastreadores de IA

O verificador testa regras robots.txt fornecidas contra um caminho para a lista de tokens de rastreadores de IA do site. Mescla grupos com tokens correspondentes e aplica a regra de caminho mais específica.

Encontrou um problema ou algo que poderia ser melhor? Lemos todas as mensagens e corrigimos rápido.

O verificador testa regras robots.txt fornecidas contra um caminho para a lista de tokens de rastreadores de IA do site. Mescla grupos com tokens correspondentes e aplica a regra de caminho mais específica.

A página informa permitido ou bloqueado por essas regras com a linha correspondente. Não acessa sites, verifica bots reais ou cabeçalhos do servidor nem garante que o operador respeite o resultado.

Como usar

  1. Cole o robots.txt a examinar.
  2. Informe um caminho relativo à raiz com query opcional.
  3. Execute e confira a regra de cada rastreador e os diagnósticos de linhas ignoradas.

Perguntas frequentes

Verifica meu site ao vivo?

Não. Analisa apenas o texto colado. Um site real pode servir outro robots.txt, redirecionamentos, códigos HTTP ou cabeçalhos.

Qual regra vence?

Vence o caminho correspondente mais longo. Allow vence empates de especificidade; grupos de token exato são mesclados, e o grupo curinga só é usado sem grupo específico correspondente.

Bloqueado significa protegido?

Não. robots.txt é orientação voluntária, não autenticação ou controle de acesso. Não remove dados já coletados.

Google-Extended bloqueia o Google Search?

É um token de controle separado do Googlebot. Políticas do fornecedor e buscas iniciadas pelo usuário exigem documentação atual do operador, além deste comparador de texto.

Comparação de caminhos

Caminhos distinguem maiúsculas e minúsculas; tokens não. Há suporte a * e $ final; bytes reservados codificados continuam distintos dos separadores literais.

Por exemplo, /private/public pode superar um bloqueio /private mais curto. /a%2Fb não vira /a/b; ASCII não reservado codificado é normalizado antes da comparação.

O que o relatório não inclui

Registros não suportados são informados por linha, não tratados como bloqueios inventados. São aceitos até 512.000 caracteres e 5.000 regras de caminho.

A lista é compartilhada com o gerador robots existente. A ferramenta avalia seus tokens, sem prometer um censo completo de rastreadores ou verificação legal de oposição à coleta.