Saltar al contenido

Comprobador de rastreadores IA

El comprobador de rastreadores IA prueba reglas robots.txt suministradas en una ruta para la lista de tokens del sitio. Combina grupos de producto coincidentes y aplica la regla de ruta más específica.

¿Encontraste un problema o algo que podría mejorar? Leemos todos los mensajes y lo arreglamos rápido.

El comprobador de rastreadores IA prueba reglas robots.txt suministradas en una ruta para la lista de tokens del sitio. Combina grupos de producto coincidentes y aplica la regla de ruta más específica.

Informa permitido o bloqueado por estas reglas y su línea. No obtiene sitios, verifica bots reales, inspecciona cabeceras ni garantiza cumplimiento del operador.

Cómo usarla

  1. Pega el robots.txt que quieres inspeccionar.
  2. Introduce una ruta relativa a la raíz con consulta opcional.
  3. Ejecuta y revisa la regla de cada rastreador y diagnósticos de líneas ignoradas.

Preguntas frecuentes

¿Comprueba mi sitio en directo?

No. Solo analiza texto pegado. El sitio real puede servir otro robots.txt, redirecciones, estados HTTP o cabeceras.

¿Qué regla gana?

La ruta coincidente más larga. Allow gana empates de especificidad; combina grupos de producto exactos y usa el comodín solo sin coincidencia específica.

¿Bloqueado equivale a protegido?

No. robots.txt es orientación voluntaria, no autenticación ni control de acceso. No borra datos ya recopilados.

¿Google-Extended bloquea Google Search?

Es un token de control separado, no Googlebot. Políticas del proveedor y solicitudes de usuarios requieren su documentación actual, fuera de este analizador.

Comparación de rutas

Distingue mayúsculas en rutas, no en tokens. Admite * y $ final; los bytes reservados codificados siguen siendo distintos de separadores literales.

Por ejemplo, /private/public puede anular /private. /a%2Fb no se convierte en /a/b; normaliza ASCII no reservado codificado antes de comparar.

Qué omite el informe

Registros no admitidos se indican por línea, sin inventar bloqueos. Acepta hasta 512.000 caracteres y 5.000 reglas de ruta.

Comparte lista con el generador robots existente. Evalúa los tokens suministrados, no un censo exhaustivo ni una verificación legal de exclusión.