Il verificatore confronta le regole robots.txt fornite e un percorso con la lista di token crawler IA del sito. Unisce i gruppi di prodotto corrispondenti e applica la regola di percorso più specifica.
La pagina indica consentito o bloccato da queste regole con la riga corrispondente. Non visita siti, verifica bot reali o header server né garantisce il rispetto da parte dell’operatore.
Come si usa
- Incolla il robots.txt da esaminare.
- Inserisci un percorso relativo alla radice con query facoltativa.
- Avvia e controlla regole di ogni crawler e diagnosi delle righe ignorate.
Domande frequenti
Controlla il sito reale?
No. Analizza solo il testo incollato. Il sito può servire robots.txt, redirect, stati HTTP o header diversi.
Quale regola prevale?
Vince il percorso corrispondente più lungo. Allow prevale a pari specificità; gruppi di token esatti si uniscono, il gruppo generico vale solo senza gruppi specifici.
Bloccato significa protetto?
No. robots.txt è una guida volontaria, non autenticazione o controllo accessi. Non rimuove dati già raccolti.
Google-Extended blocca Google Search?
È un token separato da Googlebot. Politiche del fornitore e richieste avviate dall’utente richiedono la documentazione attuale dell’operatore, oltre questo confronto testuale.
Confronto dei percorsi
I percorsi distinguono maiuscole e minuscole, i token no. Sono supportati * e $ finale; i byte riservati codificati restano distinti dai separatori letterali.
Per esempio /private/public può superare un blocco /private più breve. /a%2Fb non diventa /a/b; l’ASCII codificato non riservato è normalizzato prima del confronto.
Cosa non copre il rapporto
Record non supportati sono segnalati per riga, senza inventare regole di blocco. Sono ammessi 512.000 caratteri e 5.000 regole di percorso.
La lista è condivisa col generatore robots esistente. Lo strumento valuta quei token, non censisce tutti i crawler né verifica un rifiuto legale alla raccolta.
