Générateur et validateur llms.txt — plus règles robots.txt pour robots d’IA
Créez un llms.txt conforme à la spécification à partir d’un formulaire, d’une liste d’URL ou de votre sitemap, validez un fichier existant et générez des règles robots.txt pour les robots d’IA.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
6 liens dans 3 sections. Conforme à la structure de llmstxt.org. Placez-le à la racine de votre site pour qu’il soit servi à l’adresse /llms.txt.
Fonctionne entièrement dans votre navigateur. Rien n’est récupéré sur votre site et rien de ce que vous collez n’est envoyé en ligne. Parcourir tous les outils gratuits.
Un problème, ou quelque chose à améliorer ? Nous lisons chaque message et corrigeons vite.
Ce générateur de llms.txt construit le fichier Markdown qui indique aux assistants et agents d’IA ce qu’est votre site et quelles pages comptent. La proposition llms.txt (llmstxt.org) demande un H1 avec le nom du site, un résumé d’une ligne dans une citation, des notes facultatives, puis des sections H2 qui listent les liens sous la forme "- [nom](url): notes", avec une section "Optional" pour les pages qu’un agent peut ignorer. Remplissez le formulaire ou collez votre sitemap ou une liste d’URL, et le fichier est rédigé exactement selon cette structure.
Le validateur vérifie un llms.txt existant ligne par ligne, et le troisième onglet rédige des règles robots.txt pour les robots d’IA qui comptent, en distinguant les robots d’entraînement de modèles, ceux de la recherche IA et les récupérateurs déclenchés par l’utilisateur. Soyez réaliste sur les deux : llms.txt est une proposition que certains outils d’IA lisent et que beaucoup ignorent, et robots.txt est une demande que les robots bien élevés respectent, pas un verrou.
Mode d’emploi
- Saisissez le nom de votre site et un résumé d’une phrase de ce qu’il est et à qui il s’adresse.
- Collez votre sitemap XML ou une liste d’URL et cliquez sur Remplacer les sections, ou tapez des liens sous la forme Titre | URL | notes, un par ligne.
- Renommez les sections, retirez les pages qui n’aideraient pas une IA à répondre aux questions, et déplacez les pages secondaires dans Optional.
- Copiez ou téléchargez llms.txt et déposez-le à la racine de votre site pour qu’il soit accessible à https://yourdomain/llms.txt.
- Ouvrez l’onglet des robots d’IA, choisissez un préréglage, ajustez les robots un par un et ajoutez les règles à votre robots.txt existant.
Questions fréquentes
Qu’est-ce que llms.txt ?
llms.txt est un fichier Markdown à la racine d’un site web, proposé par Jeremy Howard en 2024 sur llmstxt.org, qui donne aux modèles de langage une carte courte et choisie du site : un nom, un résumé et des listes des pages les plus utiles, idéalement avec des versions .md épurées. Il est destiné à être lu au moment de l’inférence, quand un assistant ou un agent a besoin de votre contenu, plutôt que par les robots des moteurs de recherche.
ChatGPT, Claude ou Google utilisent-ils llms.txt ?
Aucune grande entreprise d’IA ne s’est engagée à utiliser llms.txt comme signal de classement ou d’exploration, et Google a déclaré ne pas l’utiliser pour la recherche. Son usage concret aujourd’hui concerne les assistants de code, les agents et les outils de documentation qui le récupèrent quand on leur indique un site, ce qui explique que les sites de documentation pour développeurs l’aient adopté en premier. Le publier coûte peu, mais n’en attendez pas à lui seul un changement de trafic.
Quelle est la différence entre llms.txt et llms-full.txt ?
llms.txt est l’index : une courte liste de liens avec des notes. llms-full.txt est une convention utilisée par plusieurs plateformes de documentation, qui concatène le texte intégral de la documentation dans un seul fichier Markdown, pour qu’un outil puisse tout charger en une seule requête. Cet outil génère llms.txt ; réservez llms-full.txt aux sites de documentation dont tout le corpus tient dans le contexte d’un modèle.
Comment bloquer GPTBot et les autres robots d’IA ?
Ajoutez à robots.txt un groupe avec le user agent du robot et Disallow: /, par exemple User-agent: GPTBot suivi de Disallow: /. Plusieurs user agents peuvent partager un groupe en les listant sur des lignes User-agent consécutives. Les robots d’entraînement d’OpenAI (GPTBot), d’Anthropic (ClaudeBot), de Google (le jeton Google-Extended), d’Apple (Applebot-Extended) et de Common Crawl (CCBot) déclarent respecter ces règles.
Bloquer les robots d’IA retire-t-il mon site des réponses de ChatGPT ou Claude ?
Cela dépend du robot bloqué. GPTBot et ClaudeBot collectent des données d’entraînement ; les bloquer n’empêche pas OAI-SearchBot ou Claude-SearchBot d’indexer des pages pour les réponses et citations de la recherche IA. Le préréglage « bloquer l’entraînement, autoriser la recherche » vous garde visible dans la recherche IA tout en refusant l’entraînement. Les récupérateurs déclenchés par l’utilisateur, comme ChatGPT-User et Perplexity-User, agissent pour une personne en temps réel, et OpenAI comme Perplexity indiquent que robots.txt peut ne pas s’appliquer à eux.
Google-Extended affecte-t-il mon classement Google ?
Non. Google-Extended est un jeton robots.txt, pas un robot distinct ; c’est toujours Googlebot qui récupère les pages. L’interdire indique à Google de ne pas utiliser votre contenu pour entraîner les modèles Gemini ni pour ancrer les réponses de Gemini, et Google affirme que cela n’a aucun effet sur l’inclusion ou le classement dans la recherche Google, y compris les AI Overviews, régis par les règles de Googlebot.
Référence du format llms.txt
• Ligne 1 : "# Nom". Le H1 est le seul élément obligatoire et il ne doit y en avoir qu’un.
• Ensuite, une citation "> résumé" facultative : les faits essentiels dont un agent a besoin pour comprendre tout ce qui suit.
• Ensuite, du texte libre facultatif (paragraphes ou listes, mais pas de titres) expliquant comment utiliser les liens.
• Puis autant de titres "## Section" que nécessaire, chacun suivi d’une liste Markdown dont chaque élément commence par un lien : "- [Nom de la page](https://url): note facultative".
• Une section nommée "## Optional" contient les liens à ignorer quand un contexte plus court est nécessaire. Par convention, elle vient en dernier.
La proposition suggère aussi de servir une copie Markdown épurée des pages importantes à la même URL suivie de .md (page.html.md, ou index.html.md pour un dossier). Lier ces versions .md depuis llms.txt donne aux agents du texte sans navigation ni scripts.
Les robots d’IA par finalité
• Entraînement : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, jeton uniquement), Applebot-Extended (Apple, jeton uniquement), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Bytespider (ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• Recherche et réponses IA : OAI-SearchBot (recherche ChatGPT), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• Récupérations déclenchées par l’utilisateur : ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. Ils récupèrent une page parce qu’une personne l’a demandé ; OpenAI et Perplexity indiquent que robots.txt peut ne pas s’appliquer, tandis qu’Anthropic indique que Claude-User le respecte.
• Volontairement absents de cette liste : Googlebot, Bingbot et Applebot. Ils alimentent la recherche classique (ainsi que les AI Overviews de Google et les réponses Copilot de Bing) : les bloquer vous retire des résultats de recherche.
Bytespider a été largement signalé comme ignorant robots.txt. Pour les robots qui ne respectent pas les règles, utilisez les règles anti-bots de votre CDN ou pare-feu, qui peuvent filtrer sur l’identité vérifiée du robot ou sur des plages d’IP.
Quel préréglage choisir
Autoriser toutes les IA convient aux sites de documentation, de produits et marketing qui veulent une présence maximale dans les réponses des IA. Bloquer l’entraînement, autoriser la recherche convient aux éditeurs et créateurs qui veulent être cités et liés par la recherche ChatGPT, Claude et Perplexity sans contribuer à l’entraînement des modèles. Bloquer toutes les IA convient aux contenus payants, privés ou sous licence, au prix d’une disparition des outils de recherche IA.
Les changements ne sont pas rétroactifs : le contenu déjà collecté reste dans les jeux de données existants. Les robots relisent robots.txt périodiquement, généralement en moins d’une journée, et les index de recherche IA se mettent à jour selon leur propre calendrier.
Outils gratuits similaires
- Générateur de robots.txt — Créez un robots.txt avec des préréglages tout autoriser, préproduction et WordPress, une section robots d’IA (bloquer l’entraînement, garder la recherche IA) et des alertes sur les erreurs qui désindexent un site.
- Générateur de balises meta — Renseignez le titre, la description et les informations de carte sociale d’une page ; obtenez un bloc <head> complet, correctement échappé, avec compteurs de longueur en direct.
- Générateur de balisage Schema — Remplissez un formulaire et obtenez un JSON-LD valide pour Organization, LocalBusiness, Person, Article, Product, FAQ, Event ou Breadcrumbs. Copiez-le dans le <head>.
- Générateur de configuration MCP — Définissez un serveur MCP une seule fois et obtenez le fichier de configuration ou la commande exacts pour Claude Desktop, Claude Code, Cursor, VS Code, Windsurf et Codex.