llms.txt-Generator & -Validator — plus robots.txt-Regeln für KI-Crawler
Erstelle eine spezifikationskonforme llms.txt aus einem Formular, einer URL-Liste oder deiner Sitemap, prüfe eine bestehende und erzeuge robots.txt-Regeln für KI-Crawler.
# Example Co > Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks. All API examples use the sandbox at https://sandbox.example.com. Prices are in USD. ## Docs - [Quick start](https://example.com/docs/quick-start.md): Install and send your first request - [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples - [Authentication](https://example.com/docs/auth.md) ## Guides - [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks ## Optional - [Changelog](https://example.com/changelog.md) - [Blog](https://example.com/blog)
6 Links in 3 Abschnitten. Entspricht der Struktur von llmstxt.org. Lade die Datei ins Wurzelverzeichnis deiner Website hoch, damit sie unter /llms.txt erreichbar ist.
Läuft komplett in deinem Browser. Nichts wird von deiner Website abgerufen, und nichts, was du einfügst, wird hochgeladen. Alle kostenlosen Tools ansehen.
Ein Problem gefunden oder etwas, das besser sein könnte? Wir lesen jede Nachricht und beheben Fehler schnell.
Dieser llms.txt-Generator erstellt die Markdown-Datei, die KI-Assistenten und Agenten sagt, worum es auf deiner Website geht und welche Seiten wichtig sind. Der llms.txt-Vorschlag (llmstxt.org) sieht eine H1 mit dem Namen der Website vor, eine einzeilige Zusammenfassung in einem Blockzitat, optionale Hinweise und dann H2-Abschnitte, die Links als "- [name](url): notes" auflisten, sowie einen Abschnitt „Optional“ für Seiten, die ein Agent überspringen kann. Füll das Formular aus oder füge deine Sitemap oder eine URL-Liste ein, und die Datei wird genau in dieser Struktur geschrieben.
Der Validator prüft eine bestehende llms.txt Zeile für Zeile, und der dritte Tab schreibt robots.txt-Regeln für die relevanten KI-Crawler und trennt dabei Bots für das Modelltraining von KI-Suche und von Nutzern ausgelösten Abrufen. Bleib bei beidem realistisch: llms.txt ist ein Vorschlag, den manche KI-Tools lesen und viele ignorieren, und robots.txt ist eine Bitte, an die sich gut erzogene Crawler halten – kein Schloss.
So funktioniert’s
- Gib den Namen deiner Website und einen Satz dazu ein, was sie ist und für wen sie da ist.
- Füge dein Sitemap-XML oder eine URL-Liste ein und klicke auf „Abschnitte ersetzen“, oder tippe Links als Titel | URL | Hinweis ein, einen pro Zeile.
- Benenne Abschnitte um, streiche Seiten, die einer KI beim Beantworten von Fragen nicht helfen würden, und verschiebe verzichtbare Seiten nach „Optional“.
- Kopiere oder lade die llms.txt herunter und lade sie ins Wurzelverzeichnis deiner Website hoch, sodass sie unter https://yourdomain/llms.txt erreichbar ist.
- Öffne den Tab für KI-Crawler, wähle eine Vorlage, passe einzelne Bots an und füge die Regeln deiner bestehenden robots.txt hinzu.
Häufige Fragen
Was ist llms.txt?
llms.txt ist eine Markdown-Datei im Wurzelverzeichnis einer Website, 2024 von Jeremy Howard auf llmstxt.org vorgeschlagen, die Sprachmodellen eine kurze, kuratierte Karte der Website liefert: einen Namen, eine Zusammenfassung und Listen der nützlichsten Seiten, idealerweise mit sauberen .md-Versionen. Sie ist dafür gedacht, zur Laufzeit gelesen zu werden, wenn ein Assistent oder Agent deine Inhalte braucht, nicht von Such-Crawlern.
Nutzen ChatGPT, Claude oder Google llms.txt?
Kein großes KI-Unternehmen hat sich verpflichtet, llms.txt als Ranking- oder Crawling-Signal zu nutzen, und Google hat gesagt, dass es sie für die Suche nicht verwendet. Praktischen Nutzen hat sie heute bei Coding-Assistenten, Agenten und Dokumentationstools, die sie abrufen, wenn man sie auf eine Website ansetzt – deshalb haben Websites mit Entwicklerdokumentation sie zuerst übernommen. Die Veröffentlichung kostet wenig, aber erwarte allein dadurch keine Veränderung beim Traffic.
Was ist der Unterschied zwischen llms.txt und llms-full.txt?
llms.txt ist das Verzeichnis: eine kurze Liste von Links mit Hinweisen. llms-full.txt ist eine Konvention mehrerer Dokumentationsplattformen, bei der der gesamte Text der Dokumentation in einer Markdown-Datei zusammengefügt wird, damit ein Tool alles mit einer einzigen Anfrage laden kann. Dieses Tool erzeugt llms.txt; llms-full.txt lohnt sich für Dokumentations-Websites, deren gesamter Inhalt in den Kontext eines Modells passt.
Wie blockiere ich GPTBot und andere KI-Crawler?
Füge der robots.txt eine Gruppe mit dem User-Agent des Crawlers und Disallow: / hinzu, zum Beispiel User-agent: GPTBot gefolgt von Disallow: /. Mehrere User-Agents können sich eine Gruppe teilen, wenn du sie in aufeinanderfolgenden User-agent-Zeilen aufführst. Die Trainings-Crawler von OpenAI (GPTBot), Anthropic (ClaudeBot), Google (das Token Google-Extended), Apple (Applebot-Extended) und Common Crawl (CCBot) geben an, diese Regeln zu befolgen.
Verschwindet meine Website aus den Antworten von ChatGPT oder Claude, wenn ich KI-Crawler blockiere?
Das hängt davon ab, welchen Bot du blockierst. GPTBot und ClaudeBot sammeln Trainingsdaten; sie zu blockieren hindert OAI-SearchBot oder Claude-SearchBot nicht daran, Seiten für Antworten und Quellenangaben in der KI-Suche zu indexieren. Die Vorlage „Training blockieren, Suche erlauben“ hält dich in der KI-Suche sichtbar, während du dem Training widersprichst. Von Nutzern ausgelöste Abrufe wie ChatGPT-User und Perplexity-User handeln in Echtzeit für eine Person, und laut OpenAI und Perplexity gilt robots.txt für sie unter Umständen nicht.
Beeinflusst Google-Extended mein Google-Ranking?
Nein. Google-Extended ist ein robots.txt-Token, kein eigener Crawler; abgerufen wird weiterhin vom Googlebot. Sperrst du es, darf Google deine Inhalte nicht nutzen, um Gemini-Modelle zu trainieren oder Gemini-Antworten zu fundieren, und laut Google hat das keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche, einschließlich der KI-Übersichten, die über die Googlebot-Regeln gesteuert werden.
Referenz zum llms.txt-Format
• Zeile 1: "# Name". Die H1 ist das einzige Pflichtelement, und es sollte genau eine geben.
• Dann ein optionales Blockzitat "> summary": die wichtigsten Fakten, die ein Agent braucht, um alles Weitere zu verstehen.
• Dann optionaler Freitext (Absätze oder Listen, aber keine Überschriften), der erklärt, wie die Links zu nutzen sind.
• Dann beliebig viele Überschriften "## Section", jeweils gefolgt von einer Markdown-Liste, in der jeder Eintrag mit einem Link beginnt: "- [Page name](https://url): optional note".
• Ein Abschnitt namens "## Optional" enthält Links, die übersprungen werden können, wenn ein kürzerer Kontext nötig ist. Per Konvention steht er am Ende.
Der Vorschlag empfiehlt außerdem, von wichtigen Seiten eine saubere Markdown-Kopie unter derselben URL mit angehängtem .md bereitzustellen (page.html.md bzw. index.html.md für einen Ordner). Verlinkst du diese .md-Versionen in der llms.txt, bekommen Agenten Text ohne Navigation und Skripte.
KI-Crawler nach Zweck
• Training: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, nur Token), Applebot-Extended (Apple, nur Token), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Bytespider (ByteDance), cohere-training-data-crawler, AI2Bot, Diffbot, Timpibot, omgili.
• KI-Suche und Antworten: OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, YouBot.
• Von Nutzern ausgelöste Abrufe: ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User. Sie rufen eine Seite ab, weil eine Person danach gefragt hat; laut OpenAI und Perplexity gilt robots.txt dafür unter Umständen nicht, während Claude-User sie laut Anthropic befolgt.
• Absichtlich nicht in dieser Liste: Googlebot, Bingbot und Applebot. Sie betreiben die normale Suche (sowie Googles KI-Übersichten und die Copilot-Antworten von Bing), wer sie blockiert, verschwindet also aus den Suchergebnissen.
Über Bytespider wird vielfach berichtet, dass er robots.txt ignoriert. Für Bots, die sich nicht daran halten, nutze die Bot-Regeln deines CDN oder deiner Firewall, die auf verifizierte Bot-Identität oder IP-Bereiche prüfen können.
Welche Vorlage passt?
„Alles erlauben“ passt zu Dokumentations-, Produkt- und Marketing-Websites, die in KI-Antworten maximal präsent sein wollen. „Training blockieren, Suche erlauben“ passt zu Verlagen und Kreativen, die von der ChatGPT-Suche, Claude und Perplexity zitiert und verlinkt werden wollen, ohne zum Modelltraining beizutragen. „Alle KI blockieren“ passt zu Inhalten hinter einer Paywall, privaten oder lizenzierten Inhalten – um den Preis, aus KI-Suchtools zu verschwinden.
Änderungen wirken nicht rückwirkend: Bereits gesammelte Inhalte bleiben in bestehenden Datensätzen. Crawler lesen robots.txt regelmäßig neu, meist innerhalb eines Tages, und KI-Suchindizes aktualisieren sich nach ihrem eigenen Zeitplan.
Ähnliche kostenlose Tools
- Robots.txt-Generator — Erstelle eine robots.txt mit Vorlagen für „alles erlauben“, Staging und WordPress, einem Bereich für KI-Crawler (Training blockieren, KI-Suche behalten) und Warnungen vor den Fehlern, die Websites aus dem Index werfen.
- Meta-Tag-Generator — Gib Title, Description und Social-Card-Angaben einer Seite ein und erhalte einen vollständigen, korrekt maskierten <head>-Block mit Live-Längenzählern.
- Schema-Markup-Generator — Formular ausfüllen, gültiges JSON-LD für Organization, LocalBusiness, Person, Article, Product, FAQ, Event oder Breadcrumbs erhalten. In den <head> kopieren.
- MCP-Config-Generator — Definiere einen MCP-Server einmal und erhalte die exakte Konfigurationsdatei oder den Befehl für Claude Desktop, Claude Code, Cursor, VS Code, Windsurf und Codex.