O verificador testa regras robots.txt fornecidas contra um caminho para a lista de tokens de rastreadores de IA do site. Mescla grupos com tokens correspondentes e aplica a regra de caminho mais específica.
A página informa permitido ou bloqueado por essas regras com a linha correspondente. Não acessa sites, verifica bots reais ou cabeçalhos do servidor nem garante que o operador respeite o resultado.
Como usar
- Cole o robots.txt a examinar.
- Informe um caminho relativo à raiz com query opcional.
- Execute e confira a regra de cada rastreador e os diagnósticos de linhas ignoradas.
Perguntas frequentes
Verifica meu site ao vivo?
Não. Analisa apenas o texto colado. Um site real pode servir outro robots.txt, redirecionamentos, códigos HTTP ou cabeçalhos.
Qual regra vence?
Vence o caminho correspondente mais longo. Allow vence empates de especificidade; grupos de token exato são mesclados, e o grupo curinga só é usado sem grupo específico correspondente.
Bloqueado significa protegido?
Não. robots.txt é orientação voluntária, não autenticação ou controle de acesso. Não remove dados já coletados.
Google-Extended bloqueia o Google Search?
É um token de controle separado do Googlebot. Políticas do fornecedor e buscas iniciadas pelo usuário exigem documentação atual do operador, além deste comparador de texto.
Comparação de caminhos
Caminhos distinguem maiúsculas e minúsculas; tokens não. Há suporte a * e $ final; bytes reservados codificados continuam distintos dos separadores literais.
Por exemplo, /private/public pode superar um bloqueio /private mais curto. /a%2Fb não vira /a/b; ASCII não reservado codificado é normalizado antes da comparação.
O que o relatório não inclui
Registros não suportados são informados por linha, não tratados como bloqueios inventados. São aceitos até 512.000 caracteres e 5.000 regras de caminho.
A lista é compartilhada com o gerador robots existente. A ferramenta avalia seus tokens, sem prometer um censo completo de rastreadores ou verificação legal de oposição à coleta.
