Générateur de robots.txt — créez, vérifiez et téléchargez votre robots.txt
Créez un robots.txt avec des préréglages tout autoriser, préproduction et WordPress, une section robots d’IA (bloquer l’entraînement, garder la recherche IA) et des alertes sur les erreurs qui désindexent un site.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
Déposez-le à la racine de votre domaine pour qu’il soit servi à https://yourdomain.com/robots.txt. Les sous-dossiers sont ignorés.
Fonctionne entièrement dans votre navigateur. Rien de ce que vous saisissez n’est envoyé ni stocké. Parcourir tous les outils gratuits.
Un problème, ou quelque chose à améliorer ? Nous lisons chaque message et corrigeons vite.
Ce générateur de robots.txt gratuit crée le fichier que les robots lisent avant toute autre chose sur votre site. Choisissez les user agents concernés par les règles, listez les chemins autorisés et interdits, ajoutez votre sitemap et téléchargez. Les préréglages couvrent les situations qu’on recherche réellement : tout autoriser, bloquer les robots d’entraînement d’IA comme GPTBot et ClaudeBot tout en gardant Google et la recherche IA, verrouiller un site de préproduction, et les réglages par défaut raisonnables pour WordPress et l’e-commerce.
Le robots.txt est petit et très facile à rater de façon catastrophique : un seul « Disallow: / » sous « User-agent: * » retire un site de la recherche, et il passe de la préproduction à la production plus souvent qu’on ne l’admet. Le générateur vous en avertit, ainsi que des autres erreurs courantes, et les notes ci-dessous expliquent ce que le fichier peut et ne peut pas faire, notamment le fait qu’il contrôle l’exploration et non l’indexation.
Mode d’emploi
- Choisissez le préréglage le plus proche de votre situation, ou partez de « Tout autoriser ».
- Dans Robots d’IA, choisissez tout autoriser, bloquer l’entraînement mais autoriser la recherche IA, ou bloquer toute l’IA ; cochez ou décochez des robots individuels pour affiner.
- Pour chaque groupe de règles, listez les user agents concernés (* signifie tous), puis les chemins à autoriser ou interdire. Les chemins commencent par / et sont relatifs à la racine du site.
- Ajoutez l’URL absolue de votre sitemap ; c’est la seule ligne qui aide l’indexation au lieu de la restreindre.
- Lisez les éventuelles alertes affichées au-dessus du résultat. Corrigez-les, sauf si vous bloquez délibérément les robots sur un site de préproduction.
- Téléchargez robots.txt et déposez-le à la racine de votre domaine, pour qu’il soit servi à yourdomain.com/robots.txt. Vérifiez-le dans le rapport robots.txt de Google Search Console.
Questions fréquentes
Le robots.txt retire-t-il des pages de Google ?
Non. Il empêche l’exploration, pas l’indexation. Une page bloquée dans robots.txt peut encore apparaître dans les résultats (sans extrait) si d’autres pages pointent vers elle. Pour exclure une page de l’index, autorisez l’exploration et ajoutez une balise meta ou un en-tête noindex ; Google doit lire la page pour voir l’instruction. Utilisez robots.txt pour économiser le budget d’exploration et tenir les robots à l’écart des URL d’administration, de résultats de recherche interne et de navigation à facettes.
Comment bloquer les robots d’IA sans affecter la recherche ?
Dans la section Robots d’IA, choisissez « Bloquer l’entraînement IA, autoriser la recherche IA ». Le groupe « User-agent: * » reste intact, / est interdit aux robots d’entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot) et les agents de recherche IA et de requêtes utilisateur (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User) sont explicitement autorisés, pour que les assistants puissent toujours vous citer et vous lier. Google-Extended ne contrôle que l’entraînement de Gemini ; Googlebot et la recherche ne sont pas affectés. Le robots.txt est volontaire : les robots bien élevés le respectent, les scrapers non.
Quelle est la différence entre GPTBot, OAI-SearchBot et ChatGPT-User ?
Ce sont trois agents d’OpenAI avec des contrôles robots.txt distincts. GPTBot collecte du contenu susceptible de servir à entraîner des modèles. OAI-SearchBot indexe des pages pour la recherche ChatGPT : le bloquer vous retire de ces réponses et liens. ChatGPT-User récupère une page quand un utilisateur le demande à ChatGPT, et OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer à ces récupérations à l’initiative de l’utilisateur. Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) et Perplexity (PerplexityBot, Perplexity-User) appliquent la même séparation.
Quelle est la différence entre Allow et Disallow ?
Disallow bloque des chemins ; Allow rouvre un chemin plus précis à l’intérieur d’un chemin bloqué, par exemple en interdisant /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php. En cas de conflit, Google applique le chemin correspondant le plus spécifique (le plus long). Un Disallow: vide signifie tout autoriser.
Peut-on utiliser des jokers dans les chemins ?
Google et Bing prennent en charge * (n’importe quelle suite de caractères) et $ (fin de l’URL) : Disallow: /*?sort= bloque toute URL contenant ?sort=, et Disallow: /*.pdf$ bloque les PDF. Les robots plus anciens ou plus petits peuvent les interpréter littéralement : réservez les jokers aux grands moteurs et gardez le reste simple.
Où placer le robots.txt ?
À la racine de chaque hôte, avec le même protocole : https://www.example.com/robots.txt. Un fichier placé dans un sous-dossier est ignoré, et example.com et www.example.com ont chacun besoin de leur propre copie (généralement identique). Il doit être en texte brut, en UTF-8, et faire moins de 500 Ko.
Un robots.txt qui fait ce qu’il faut
Pour la plupart des sites publics, le fichier complet se résume à : User-agent: * sans aucun Disallow, plus une ligne Sitemap. N’ajoutez des Disallow que pour des espaces d’URL réellement infinis ou inutiles pour la recherche : résultats de recherche interne, panier et paiement, administration, combinaisons de paramètres issues des filtres et tris. Ne bloquez pas le CSS, le JavaScript ni les images ; Google affiche les pages et en a besoin, et les bloquer peut nuire au classement.
Les erreurs qui font disparaître un site de la recherche
• Mettre en production le fichier de préproduction (Disallow: /). Vérifiez le robots.txt à chaque déploiement.
• Bloquer un dossier contenant le CSS ou le JS dont le site a besoin pour s’afficher.
• Utiliser robots.txt pour masquer des pages au lieu de noindex : elles restent dans les résultats sous forme d’URL nues.
• Une ligne Sitemap pointant vers une URL en 404 ou redirigée.
• Des règles dont les chemins ne commencent pas par /, ignorées sans avertissement.
Les robots d’IA par finalité (vérifié en octobre 2026)
• Entraînement : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, jeton de contrôle lu par Googlebot), Applebot-Extended (Apple, jeton de contrôle lu par Applebot), CCBot (Common Crawl, dont le jeu de données ouvert sert à de nombreux concepteurs de modèles), Bytespider (ByteDance), Meta-ExternalAgent (Meta), Amazonbot (Amazon).
• Recherche IA : OAI-SearchBot (recherche ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity). Les bloquer retire vos pages des réponses et citations de ces produits.
• À la demande de l’utilisateur : ChatGPT-User, Claude-User et Perplexity-User récupèrent une page parce qu’une personne a demandé à un assistant de la lire. Les opérateurs les traitent différemment de l’exploration automatique, et certains indiquent que robots.txt peut ne pas s’appliquer.
• Les noms retirés comme anthropic-ai et Claude-Web sont conservés dans la liste de blocage, car d’anciens fichiers les utilisent encore ; ils ne font aucun mal.
Google-Extended ne retire pas un site des AI Overviews ni du mode IA : ceux-ci sont construits à partir de l’index Googlebot normal, et le seul moyen d’en sortir via robots.txt est de bloquer Googlebot, ce qui vous retire aussi de la recherche. La correspondance ne tient pas compte de la casse, et chaque robot suit le groupe le plus spécifique qui le nomme. Le robots.txt est une demande ; pour imposer un blocage, utilisez les règles anti-bots de votre CDN ou pare-feu, qui peuvent vérifier les robots par IP ou DNS inverse.
Outils gratuits similaires
- Générateur de balises meta — Renseignez le titre, la description et les informations de carte sociale d’une page ; obtenez un bloc <head> complet, correctement échappé, avec compteurs de longueur en direct.
- Générateur de balisage Schema — Remplissez un formulaire et obtenez un JSON-LD valide pour Organization, LocalBusiness, Person, Article, Product, FAQ, Event ou Breadcrumbs. Copiez-le dans le <head>.
- Aperçu Open Graph — Saisissez une URL et voyez la carte exacte qu’afficheront Facebook, LinkedIn, X et Slack, toutes les balises trouvées et ce qui manque.