Vai al contenuto

Verificatore crawler IA

Il verificatore confronta le regole robots.txt fornite e un percorso con la lista di token crawler IA del sito. Unisce i gruppi di prodotto corrispondenti e applica la regola di percorso più specifica.

Hai trovato un problema o qualcosa che potrebbe andare meglio? Leggiamo ogni messaggio e sistemiamo le cose in fretta.

Il verificatore confronta le regole robots.txt fornite e un percorso con la lista di token crawler IA del sito. Unisce i gruppi di prodotto corrispondenti e applica la regola di percorso più specifica.

La pagina indica consentito o bloccato da queste regole con la riga corrispondente. Non visita siti, verifica bot reali o header server né garantisce il rispetto da parte dell’operatore.

Come si usa

  1. Incolla il robots.txt da esaminare.
  2. Inserisci un percorso relativo alla radice con query facoltativa.
  3. Avvia e controlla regole di ogni crawler e diagnosi delle righe ignorate.

Domande frequenti

Controlla il sito reale?

No. Analizza solo il testo incollato. Il sito può servire robots.txt, redirect, stati HTTP o header diversi.

Quale regola prevale?

Vince il percorso corrispondente più lungo. Allow prevale a pari specificità; gruppi di token esatti si uniscono, il gruppo generico vale solo senza gruppi specifici.

Bloccato significa protetto?

No. robots.txt è una guida volontaria, non autenticazione o controllo accessi. Non rimuove dati già raccolti.

Google-Extended blocca Google Search?

È un token separato da Googlebot. Politiche del fornitore e richieste avviate dall’utente richiedono la documentazione attuale dell’operatore, oltre questo confronto testuale.

Confronto dei percorsi

I percorsi distinguono maiuscole e minuscole, i token no. Sono supportati * e $ finale; i byte riservati codificati restano distinti dai separatori letterali.

Per esempio /private/public può superare un blocco /private più breve. /a%2Fb non diventa /a/b; l’ASCII codificato non riservato è normalizzato prima del confronto.

Cosa non copre il rapporto

Record non supportati sono segnalati per riga, senza inventare regole di blocco. Sono ammessi 512.000 caratteri e 5.000 regole di percorso.

La lista è condivisa col generatore robots esistente. Lo strumento valuta quei token, non censisce tutti i crawler né verifica un rifiuto legale alla raccolta.