El comprobador de rastreadores IA prueba reglas robots.txt suministradas en una ruta para la lista de tokens del sitio. Combina grupos de producto coincidentes y aplica la regla de ruta más específica.
Informa permitido o bloqueado por estas reglas y su línea. No obtiene sitios, verifica bots reales, inspecciona cabeceras ni garantiza cumplimiento del operador.
Cómo usarla
- Pega el robots.txt que quieres inspeccionar.
- Introduce una ruta relativa a la raíz con consulta opcional.
- Ejecuta y revisa la regla de cada rastreador y diagnósticos de líneas ignoradas.
Preguntas frecuentes
¿Comprueba mi sitio en directo?
No. Solo analiza texto pegado. El sitio real puede servir otro robots.txt, redirecciones, estados HTTP o cabeceras.
¿Qué regla gana?
La ruta coincidente más larga. Allow gana empates de especificidad; combina grupos de producto exactos y usa el comodín solo sin coincidencia específica.
¿Bloqueado equivale a protegido?
No. robots.txt es orientación voluntaria, no autenticación ni control de acceso. No borra datos ya recopilados.
¿Google-Extended bloquea Google Search?
Es un token de control separado, no Googlebot. Políticas del proveedor y solicitudes de usuarios requieren su documentación actual, fuera de este analizador.
Comparación de rutas
Distingue mayúsculas en rutas, no en tokens. Admite * y $ final; los bytes reservados codificados siguen siendo distintos de separadores literales.
Por ejemplo, /private/public puede anular /private. /a%2Fb no se convierte en /a/b; normaliza ASCII no reservado codificado antes de comparar.
Qué omite el informe
Registros no admitidos se indican por línea, sin inventar bloqueos. Acepta hasta 512.000 caracteres y 5.000 reglas de ruta.
Comparte lista con el generador robots existente. Evalúa los tokens suministrados, no un censo exhaustivo ni una verificación legal de exclusión.
