Generatore di robots.txt — Crea, verifica e scarica robots.txt
Crea un robots.txt con preset per consentire tutto, ambienti di staging e WordPress, una sezione per i crawler IA (blocca l'addestramento, mantieni la ricerca IA) e avvisi per gli errori che deindicizzano i siti.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
Caricalo nella radice del tuo dominio, in modo che sia servito su https://yourdomain.com/robots.txt. Le sottocartelle vengono ignorate.
Funziona interamente nel tuo browser. Nulla di ciò che inserisci viene inviato a noi o salvato. Sfoglia tutti gli strumenti gratuiti.
Hai trovato un problema o qualcosa che potrebbe andare meglio? Leggiamo ogni messaggio e sistemiamo le cose in fretta.
Questo generatore di robots.txt gratuito crea il file che i crawler leggono prima di qualsiasi altra cosa sul tuo sito. Scegli a quali user agent si applicano le regole, elenca i percorsi consentiti e non consentiti, aggiungi la sitemap e scarica. I preset coprono le situazioni che si cercano davvero: consentire tutto, bloccare i crawler di addestramento IA come GPTBot e ClaudeBot mantenendo Google e la ricerca IA, chiudere un sito di staging e le impostazioni ragionevoli per WordPress ed e-commerce.
robots.txt è piccolo ed è facile sbagliarlo in modo catastrofico: un solo “Disallow: /” sotto “User-agent: *” toglie un sito dalla ricerca, e passa dallo staging alla produzione più spesso di quanto si ammetta. Il generatore avvisa di questo e degli altri errori comuni, e le note qui sotto spiegano cosa il file può e non può fare, compreso il fatto che controlla la scansione, non l'indicizzazione.
Come si usa
- Scegli il preset più vicino alla tua situazione, oppure parti da “Consenti tutto”.
- Nei crawler IA, scegli consenti tutto, blocca l'addestramento IA ma consenti la ricerca IA, oppure blocca tutta l'IA; spunta o togli la spunta ai singoli bot per affinare.
- Per ogni gruppo di regole, elenca gli user agent a cui si applica (* significa tutti), poi i percorsi da consentire o bloccare. I percorsi iniziano con / e sono relativi alla radice del sito.
- Aggiungi l'URL assoluto della sitemap; è l'unica riga che aiuta l'indicizzazione invece di limitarla.
- Leggi gli eventuali avvisi mostrati sopra l'output. Correggili, a meno che tu non stia bloccando di proposito i crawler su un sito di staging.
- Scarica robots.txt e caricalo nella radice del dominio, in modo che sia servito su yourdomain.com/robots.txt. Verificalo nel report robots.txt di Google Search Console.
Domande frequenti
robots.txt rimuove le pagine da Google?
No. Blocca la scansione, non l'indicizzazione. Una pagina bloccata in robots.txt può comunque comparire nei risultati (senza snippet) se altre pagine la linkano. Per tenere una pagina fuori dall'indice, consenti la scansione e aggiungi un meta tag o un header noindex; Google deve leggere la pagina per vedere l'istruzione. Usa robots.txt per risparmiare crawl budget e tenere i bot lontani da URL di amministrazione, risultati di ricerca interni e filtri a faccette.
Come blocco i crawler IA senza influire sulla ricerca?
Nella sezione dei crawler IA scegli “Blocca l'addestramento IA, consenti la ricerca IA”. Lascia invariato “User-agent: *”, blocca / per i crawler di addestramento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot) e consente esplicitamente gli agenti di ricerca IA e su richiesta dell'utente (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User), così gli assistenti possono ancora citarti e linkarti. Google-Extended controlla solo l'addestramento di Gemini; Googlebot e la Ricerca non ne sono influenzati. robots.txt è volontario: i crawler corretti lo rispettano, gli scraper no.
Qual è la differenza tra GPTBot, OAI-SearchBot e ChatGPT-User?
Sono tre agenti di OpenAI con controlli robots.txt separati. GPTBot raccoglie contenuti che possono essere usati per addestrare i modelli. OAI-SearchBot indicizza le pagine per la ricerca di ChatGPT, quindi bloccarlo ti toglie da quelle risposte e dai relativi link. ChatGPT-User recupera una pagina quando un utente lo chiede a ChatGPT, e OpenAI afferma che le regole di robots.txt potrebbero non applicarsi a questi recuperi avviati dagli utenti. Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) e Perplexity (PerplexityBot, Perplexity-User) usano la stessa suddivisione.
Qual è la differenza tra Allow e Disallow?
Disallow blocca i percorsi; Allow riapre un percorso più specifico all'interno di uno bloccato, per esempio bloccando /wp-admin/ ma consentendo /wp-admin/admin-ajax.php. Quando le regole sono in conflitto, Google applica il percorso corrispondente più specifico (il più lungo). Un Disallow: vuoto significa consentire tutto.
Posso usare caratteri jolly nei percorsi?
Google e Bing supportano * (qualsiasi sequenza) e $ (fine dell'URL): Disallow: /*?sort= blocca qualsiasi URL che contiene ?sort=, e Disallow: /*.pdf$ blocca i PDF. I crawler più vecchi o più piccoli possono interpretarli letteralmente, quindi riserva le regole con caratteri jolly ai grandi motori e mantieni semplice il resto.
Dove va messo robots.txt?
Nella radice di ogni host, con lo stesso protocollo: https://www.example.com/robots.txt. Un file in una sottocartella viene ignorato, ed example.com e www.example.com richiedono ciascuno la propria copia (di solito identica). Deve essere testo semplice, UTF-8 e sotto i 500 KB.
Un robots.txt che fa le cose giuste
Per la maggior parte dei siti pubblici l'intero file è: User-agent: * senza alcun Disallow, più una riga Sitemap. Aggiungi Disallow solo per spazi di URL davvero infiniti o inutili per la ricerca: risultati della ricerca interna, carrello e checkout, amministrazione, combinazioni di parametri da filtri e ordinamenti. Non bloccare CSS, JavaScript o immagini; Google visualizza le pagine e ne ha bisogno, e bloccarli può danneggiare il posizionamento.
Gli errori che tolgono i siti dalla ricerca
• Pubblicare in produzione il file dello staging (Disallow: /). Controlla robots.txt a ogni deploy.
• Bloccare una cartella che contiene i CSS o JS necessari per visualizzare il sito.
• Usare robots.txt per nascondere pagine invece di noindex, così restano nei risultati come semplici URL.
• Una riga sitemap che punta a un URL che restituisce 404 o reindirizza.
• Regole con percorsi che non iniziano con /, che vengono ignorate senza avvisi.
Crawler IA per scopo (verificati a ottobre 2026)
• Addestramento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, un token di controllo letto da Googlebot), Applebot-Extended (Apple, un token di controllo letto da Applebot), CCBot (Common Crawl, il cui dataset aperto è usato da molti sviluppatori di modelli), Bytespider (ByteDance), Meta-ExternalAgent (Meta), Amazonbot (Amazon).
• Ricerca IA: OAI-SearchBot (ricerca di ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity). Bloccarli toglie le tue pagine dalle risposte e dalle citazioni di quei prodotti.
• Su richiesta dell'utente: ChatGPT-User, Claude-User e Perplexity-User recuperano una pagina perché una persona ha chiesto a un assistente di leggerla. Gli operatori li trattano diversamente dalla scansione automatica, e alcuni affermano che robots.txt potrebbe non applicarsi.
• I nomi dismessi come anthropic-ai e Claude-Web sono mantenuti nell'elenco di blocco perché i vecchi file li usano ancora; non fanno danni.
Google-Extended non toglie un sito dalle AI Overview né da AI Mode: sono costruiti a partire dal normale indice di Googlebot, quindi l'unico modo per uscirne con robots.txt è bloccare Googlebot, il che ti toglie anche dalla Ricerca. Il confronto non distingue maiuscole e minuscole, e ogni bot rispetta il gruppo più specifico che lo nomina. robots.txt è una richiesta; per imporre un blocco, usa le regole sui bot della CDN o del firewall, che possono verificare i crawler tramite IP o DNS inverso.
Strumenti gratuiti correlati
- Generatore di meta tag — Compila title, description e dettagli della social card di una pagina; ottieni un blocco <head> completo, con escape corretto e contatori di lunghezza in tempo reale.
- Generatore di schema markup — Compila un modulo e ottieni JSON-LD valido per Organization, LocalBusiness, Person, Article, Product, FAQ, Event o Breadcrumb. Copialo nel <head>.
- Anteprima Open Graph — Inserisci un URL e guarda la scheda esatta che mostreranno Facebook, LinkedIn, X e Slack, ogni tag trovato e cosa manca.