Generatore e validatore di llms.txt — Più regole robots.txt per i crawler IA
Crea un llms.txt conforme alla specifica da un modulo, un elenco di URL o la sitemap, valida un file esistente e genera regole robots.txt per i crawler IA.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
6 link in 3 sezioni. Rispetta la struttura di llmstxt.org. Caricalo nella root del sito, in modo che sia servito all'indirizzo /llms.txt.
Funziona interamente nel browser. Nulla viene scaricato dal tuo sito e nulla di ciò che incolli viene caricato. Sfoglia tutti gli strumenti gratuiti.
Hai trovato un problema o qualcosa che potrebbe andare meglio? Leggiamo ogni messaggio e sistemiamo le cose in fretta.
Questo generatore di llms.txt crea il file Markdown che spiega ad assistenti e agenti IA cos'è il tuo sito e quali pagine contano. La proposta llms.txt (llmstxt.org) prevede un H1 con il nome del sito, un riepilogo di una riga in una citazione, note facoltative e poi sezioni H2 che elencano link nella forma "- [nome](url): note", con una sezione "Optional" per le pagine che un agente può saltare. Compila il modulo o incolla la sitemap o un elenco di URL, e il file viene scritto esattamente con quella struttura.
Il validatore controlla riga per riga un llms.txt esistente, e la terza scheda scrive regole robots.txt per i crawler IA che contano, distinguendo i bot di addestramento dei modelli da quelli di ricerca IA e dai fetcher attivati dagli utenti. Sii realista su entrambi: llms.txt è una proposta che alcuni strumenti IA leggono e molti ignorano, e robots.txt è una richiesta che i crawler corretti rispettano, non un lucchetto.
Come si usa
- Inserisci il nome del sito e un riepilogo di una frase su cos'è e a chi si rivolge.
- Incolla l'XML della sitemap o un elenco di URL e fai clic su Sostituisci le sezioni, oppure scrivi i link come Titolo | URL | note, uno per riga.
- Rinomina le sezioni, elimina le pagine che non aiuterebbero un'IA a rispondere alle domande e sposta in Optional quelle accessorie.
- Copia o scarica llms.txt e caricalo nella radice del sito, in modo che sia raggiungibile su https://yourdomain/llms.txt.
- Apri la scheda dei crawler IA, scegli un preset, regola i singoli bot e aggiungi le regole al tuo robots.txt esistente.
Domande frequenti
Che cos'è llms.txt?
llms.txt è un file Markdown nella radice di un sito web, proposto da Jeremy Howard nel 2024 su llmstxt.org, che fornisce ai modelli linguistici una mappa breve e curata del sito: un nome, un riepilogo ed elenchi delle pagine più utili, idealmente con versioni .md pulite. È pensato per essere letto al momento dell'inferenza, quando un assistente o un agente ha bisogno dei tuoi contenuti, più che dai crawler dei motori di ricerca.
ChatGPT, Claude o Google usano llms.txt?
Nessuna grande azienda di IA si è impegnata a usare llms.txt come segnale di ranking o di scansione, e Google ha dichiarato di non usarlo per la Ricerca. Oggi la sua utilità pratica è con assistenti di programmazione, agenti e strumenti di documentazione che lo recuperano quando vengono indirizzati a un sito, ed è per questo che i siti di documentazione per sviluppatori lo hanno adottato per primi. Pubblicarlo costa poco, ma non aspettarti da solo un cambiamento nel traffico.
Qual è la differenza tra llms.txt e llms-full.txt?
llms.txt è l'indice: un breve elenco di link con note. llms-full.txt è una convenzione usata da diverse piattaforme di documentazione in cui il testo completo della documentazione viene concatenato in un unico file Markdown, così uno strumento può caricare tutto con una sola richiesta. Questo strumento genera llms.txt; riserva llms-full.txt ai siti di documentazione il cui intero contenuto sta nel contesto di un modello.
Come si bloccano GPTBot e gli altri crawler IA?
Aggiungi a robots.txt un gruppo con lo user agent del crawler e Disallow: /, per esempio User-agent: GPTBot seguito da Disallow: /. Più user agent possono condividere un gruppo elencandoli su righe User-agent consecutive. I crawler di addestramento di OpenAI (GPTBot), Anthropic (ClaudeBot), Google (il token Google-Extended), Apple (Applebot-Extended) e Common Crawl (CCBot) dichiarano di rispettare queste regole.
Bloccare i crawler IA rimuove il mio sito dalle risposte di ChatGPT o Claude?
Dipende da quale bot blocchi. GPTBot e ClaudeBot raccolgono dati di addestramento; bloccarli non impedisce a OAI-SearchBot o Claude-SearchBot di indicizzare le pagine per le risposte e le citazioni della ricerca IA. Il preset "blocca addestramento, consenti ricerca" ti mantiene visibile nella ricerca IA escludendoti dall'addestramento. I fetcher attivati dagli utenti, come ChatGPT-User e Perplexity-User, agiscono per conto di una persona in tempo reale, e OpenAI e Perplexity affermano che robots.txt potrebbe non applicarsi a loro.
Google-Extended influisce sul mio posizionamento su Google?
No. Google-Extended è un token di robots.txt, non un crawler separato; il recupero delle pagine lo fa sempre Googlebot. Bloccarlo indica a Google di non usare i tuoi contenuti per addestrare i modelli Gemini o fondare le risposte di Gemini, e Google afferma che non ha alcun effetto sull'inclusione o sul posizionamento nella Ricerca Google, comprese le AI Overview, che sono controllate dalle regole per Googlebot.
Riferimento al formato llms.txt
• Riga 1: "# Nome". L'H1 è l'unico elemento obbligatorio e deve essercene esattamente uno.
• Poi una citazione facoltativa "> riepilogo": i fatti chiave di cui un agente ha bisogno per capire tutto ciò che segue.
• Poi testo libero facoltativo (paragrafi o elenchi, ma niente titoli) che spiega come usare i link.
• Poi un numero qualsiasi di titoli "## Sezione", ciascuno seguito da un elenco Markdown in cui ogni voce inizia con un link: "- [Nome pagina](https://url): nota facoltativa".
• Una sezione chiamata "## Optional" contiene i link che si possono saltare quando serve un contesto più breve. Per convenzione è l'ultima.
La proposta suggerisce anche di servire una copia Markdown pulita delle pagine importanti allo stesso URL con .md in coda (page.html.md, o index.html.md per una cartella). Collegare quelle versioni .md da llms.txt fornisce agli agenti testo senza navigazione né script.
Crawler IA per scopo
• Addestramento: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, solo token), Applebot-Extended (Apple, solo token), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Bytespider (ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• Ricerca e risposte IA: OAI-SearchBot (ricerca di ChatGPT), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• Recuperi attivati dagli utenti: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. Recuperano una pagina perché una persona l'ha chiesto; OpenAI e Perplexity affermano che robots.txt potrebbe non applicarsi, mentre Anthropic dichiara che Claude-User lo rispetta.
• Esclusi di proposito da questo elenco: Googlebot, Bingbot e Applebot. Alimentano la ricerca normale (e le AI Overview di Google e le risposte di Copilot di Bing), quindi bloccarli ti toglie dai risultati di ricerca.
Bytespider è stato ampiamente segnalato per ignorare robots.txt. Per i bot che non lo rispettano, usa le regole sui bot della tua CDN o del firewall, che possono basarsi sull'identità verificata del bot o su intervalli di IP.
Quale preset scegliere
Consenti tutto è adatto a siti di documentazione, prodotto e marketing che vogliono la massima presenza nelle risposte IA. Blocca l'addestramento, consenti la ricerca è adatto a editori e creatori che vogliono essere citati e linkati dalla ricerca di ChatGPT, da Claude e da Perplexity senza contribuire all'addestramento dei modelli. Blocca tutte le IA è adatto a contenuti a pagamento, privati o concessi in licenza, al prezzo di sparire dagli strumenti di ricerca IA.
Le modifiche non sono retroattive: i contenuti già raccolti restano nei dataset esistenti. I crawler rileggono robots.txt periodicamente, di solito entro un giorno, e gli indici della ricerca IA si aggiornano con tempi propri.
Strumenti gratuiti correlati
- Generatore di robots.txt — Crea un robots.txt con preset per consentire tutto, ambienti di staging e WordPress, una sezione per i crawler IA (blocca l'addestramento, mantieni la ricerca IA) e avvisi per gli errori che deindicizzano i siti.
- Generatore di meta tag — Compila title, description e dettagli della social card di una pagina; ottieni un blocco <head> completo, con escape corretto e contatori di lunghezza in tempo reale.
- Generatore di schema markup — Compila un modulo e ottieni JSON-LD valido per Organization, LocalBusiness, Person, Article, Product, FAQ, Event o Breadcrumb. Copialo nel <head>.
- Generatore di configurazioni MCP — Definisci un server MCP una volta sola e ottieni il file di configurazione o il comando esatto per Claude Desktop, Claude Code, Cursor, VS Code, Windsurf e Codex.