Le vérificateur teste les règles robots.txt fournies pour un chemin et la liste de robots IA du site. Il fusionne les groupes correspondant au jeton du robot et applique la règle de chemin la plus précise.
La page indique l’accès permis ou refusé par ces règles et la ligne correspondante. Elle ne charge pas le site, ne vérifie pas un robot réel ni les en-têtes du serveur, et ne garantit pas le respect du résultat par l’opérateur.
Mode d’emploi
- Collez le texte robots.txt à examiner.
- Saisissez un chemin relatif à la racine avec une chaîne de requête facultative.
- Lancez et consultez la règle de chaque robot et les diagnostics des lignes ignorées.
Questions fréquentes
Vérifie-t-il mon site en direct ?
Non. Il analyse uniquement le texte collé. Un site réel peut servir un autre robots.txt, des redirections, des codes HTTP ou des en-têtes différents.
Quelle règle l’emporte ?
Le chemin correspondant le plus long l’emporte. À précision égale, Allow gagne ; les groupes de jeton exact fusionnent et le groupe générique n’est utilisé qu’en l’absence de groupe spécifique.
Bloqué signifie-t-il protégé ?
Non. robots.txt est une consigne volontaire aux robots, sans authentification ni contrôle d’accès. Il ne supprime pas les données déjà collectées.
Google-Extended bloque-t-il Google Search ?
C’est un jeton de contrôle distinct de Googlebot. Les politiques propres aux fournisseurs et les requêtes déclenchées par l’utilisateur exigent leur documentation actuelle, au-delà de cet analyseur de texte.
Comparaison des chemins
Les chemins sont sensibles à la casse, contrairement aux jetons de robots. Le joker * et le $ final sont pris en charge ; les octets réservés encodés restent distincts des séparateurs littéraux.
Par exemple, /private/public peut remplacer un blocage /private plus court. /a%2Fb ne devient pas /a/b ; l’ASCII encodé non réservé est normalisé avant comparaison.
Ce que le rapport ne couvre pas
Les entrées non prises en charge sont signalées par ligne, sans inventer des règles de blocage. Jusqu’à 512 000 caractères et 5 000 règles de chemin sont acceptés.
La liste de robots est partagée avec le générateur robots existant. Cet outil évalue ses jetons, sans recenser tous les robots ni certifier un refus légal de collecte.
