Robots.txt-Generator — robots.txt erstellen, prüfen und herunterladen
Erstelle eine robots.txt mit Vorlagen für „alles erlauben“, Staging und WordPress, einem Bereich für KI-Crawler (Training blockieren, KI-Suche behalten) und Warnungen vor den Fehlern, die Websites aus dem Index werfen.
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
Lade sie ins Stammverzeichnis deiner Domain hoch, damit sie unter https://yourdomain.com/robots.txt erreichbar ist. Unterordner werden ignoriert.
Läuft komplett in deinem Browser. Nichts, was du eingibst, wird an uns gesendet oder gespeichert. Alle kostenlosen Tools ansehen.
Ein Problem gefunden oder etwas, das besser sein könnte? Wir lesen jede Nachricht und beheben Fehler schnell.
Dieser kostenlose robots.txt-Generator erstellt die Datei, die Crawler vor allem anderen auf deiner Website lesen. Wähle, für welche User-Agents die Regeln gelten, liste erlaubte und gesperrte Pfade auf, ergänze deine Sitemap und lade die Datei herunter. Vorlagen decken die Situationen ab, nach denen tatsächlich gesucht wird: alles erlauben, KI-Trainings-Crawler wie GPTBot und ClaudeBot blockieren und dabei Google und KI-Suche behalten, eine Staging-Website sperren sowie sinnvolle Standards für WordPress und E-Commerce.
robots.txt ist klein und leicht katastrophal falsch zu machen: Ein einziges „Disallow: /“ unter „User-agent: *“ entfernt eine Website aus der Suche, und das wandert öfter vom Staging in die Produktion, als irgendwer zugibt. Der Generator warnt davor und vor den anderen häufigen Fehlern, und die Hinweise unten erklären, was die Datei kann und was nicht – etwa, dass sie das Crawling steuert, nicht die Indexierung.
So funktioniert’s
- Wähle die Vorlage, die deiner Situation am nächsten kommt, oder beginne mit „Alles erlauben“.
- Wähle unter KI-Crawler „alle erlauben“, „KI-Training blockieren, aber KI-Suche erlauben“ oder „alle KI blockieren“; hake einzelne Bots an oder ab, um feiner abzustimmen.
- Liste für jede Regelgruppe die User-Agents auf, für die sie gilt (* bedeutet alle), und dann die Pfade, die erlaubt oder gesperrt werden. Pfade beginnen mit / und beziehen sich auf das Wurzelverzeichnis der Website.
- Ergänze die absolute URL deiner Sitemap; das ist die eine Zeile, die der Indexierung hilft, statt sie einzuschränken.
- Lies alle Warnungen über der Ausgabe. Behebe sie, es sei denn, du sperrst Crawler absichtlich auf einer Staging-Website.
- Lade die robots.txt herunter und lade sie ins Wurzelverzeichnis deiner Domain hoch, sodass sie unter yourdomain.com/robots.txt ausgeliefert wird. Prüfe sie im robots.txt-Bericht der Google Search Console.
Häufige Fragen
Entfernt robots.txt Seiten aus Google?
Nein. Sie verhindert das Crawling, nicht die Indexierung. Eine in der robots.txt gesperrte Seite kann trotzdem in den Ergebnissen erscheinen (ohne Snippet), wenn andere Seiten auf sie verlinken. Um eine Seite aus dem Index herauszuhalten, erlaube das Crawling und setze ein noindex-Meta-Tag oder einen entsprechenden Header; Google muss die Seite lesen, um die Anweisung zu sehen. Nutze robots.txt, um Crawl-Budget zu sparen und Bots von Admin-, Suchergebnis- und Facetten-URLs fernzuhalten.
Wie blockiere ich KI-Crawler, ohne die Suche zu beeinträchtigen?
Wähle im Bereich KI-Crawler „KI-Training blockieren, KI-Suche erlauben“. Das lässt „User-agent: *“ unverändert, sperrt / für die Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot) und erlaubt ausdrücklich die Agents für KI-Suche und Nutzeranfragen (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Perplexity-User), sodass Assistenten dich weiterhin zitieren und verlinken können. Google-Extended steuert nur das Gemini-Training; Googlebot und die Suche sind nicht betroffen. robots.txt ist freiwillig: Gut erzogene Crawler halten sich daran, Scraper nicht.
Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?
Es sind drei Agents von OpenAI mit getrennter Steuerung per robots.txt. GPTBot sammelt Inhalte, die zum Training von Modellen verwendet werden können. OAI-SearchBot indexiert Seiten für die ChatGPT-Suche; wer ihn blockiert, verschwindet aus diesen Antworten und Links. ChatGPT-User ruft eine Seite ab, wenn ein Nutzer ChatGPT darum bittet, und laut OpenAI gelten robots.txt-Regeln für diese von Nutzern ausgelösten Abrufe unter Umständen nicht. Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) und Perplexity (PerplexityBot, Perplexity-User) nutzen dieselbe Aufteilung.
Was ist der Unterschied zwischen Allow und Disallow?
Disallow sperrt Pfade; Allow öffnet einen engeren Pfad innerhalb eines gesperrten wieder, etwa /wp-admin/ sperren und /wp-admin/admin-ajax.php erlauben. Widersprechen sich Regeln, wendet Google den spezifischsten (längsten) passenden Pfad an. Ein leeres Disallow: bedeutet, dass alles erlaubt ist.
Kann ich Platzhalter in Pfaden verwenden?
Google und Bing unterstützen * (beliebige Zeichenfolge) und $ (Ende der URL): Disallow: /*?sort= sperrt jede URL, die ?sort= enthält, und Disallow: /*.pdf$ sperrt PDFs. Ältere oder kleinere Crawler nehmen diese Zeichen eventuell wörtlich; nutze Platzhalter-Regeln also für die großen Suchmaschinen und halte den Rest einfach.
Wo gehört die robots.txt hin?
Ins Wurzelverzeichnis jedes Hosts, über dasselbe Protokoll: https://www.example.com/robots.txt. Eine Datei in einem Unterordner wird ignoriert, und example.com und www.example.com brauchen jeweils ein eigenes (meist identisches) Exemplar. Sie muss reiner Text in UTF-8 und kleiner als 500 KB sein.
Eine robots.txt, die das Richtige tut
Für die meisten öffentlichen Websites besteht die ganze Datei aus User-agent: * ohne Sperren plus einer Sitemap-Zeile. Sperre nur URL-Bereiche, die wirklich endlos oder für die Suche nutzlos sind: interne Suchergebnisse, Warenkorb und Checkout, Admin, Parameterkombinationen aus Filtern und Sortierung. Sperre kein CSS, JavaScript oder Bilder; Google rendert Seiten und braucht sie, und eine Sperre kann dem Ranking schaden.
Die Fehler, die Websites aus der Suche werfen
• Die Staging-Datei (Disallow: /) landet in der Produktion. Prüfe die robots.txt bei jedem Deployment.
• Ein Verzeichnis wird gesperrt, das CSS oder JS enthält, das die Website zum Rendern braucht.
• robots.txt wird statt noindex genutzt, um Seiten zu verstecken, sodass sie als nackte URLs in den Ergebnissen hängen bleiben.
• Eine Sitemap-Zeile zeigt auf eine URL, die 404 liefert oder weiterleitet.
• Regeln mit Pfaden, die nicht mit / beginnen und stillschweigend ignoriert werden.
KI-Crawler nach Zweck (Stand Oktober 2026)
• Training: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, ein Steuer-Token, das Googlebot liest), Applebot-Extended (Apple, ein Steuer-Token, das Applebot liest), CCBot (Common Crawl, dessen offenen Datensatz viele Modellentwickler nutzen), Bytespider (ByteDance), Meta-ExternalAgent (Meta), Amazonbot (Amazon).
• KI-Suche: OAI-SearchBot (ChatGPT-Suche), Claude-SearchBot (Claude), PerplexityBot (Perplexity). Wer sie blockiert, entfernt seine Seiten aus den Antworten und Quellenangaben dieser Produkte.
• Von Nutzern angefordert: ChatGPT-User, Claude-User, Perplexity-User rufen eine Seite ab, weil eine Person einen Assistenten gebeten hat, sie zu lesen. Die Betreiber behandeln diese anders als automatisches Crawling, und manche sagen, dass robots.txt unter Umständen nicht gilt.
• Ausgemusterte Namen wie anthropic-ai und Claude-Web bleiben in der Sperrliste, weil alte Dateien sie noch verwenden; sie schaden nicht.
Google-Extended nimmt eine Website nicht aus den KI-Übersichten oder dem KI-Modus heraus: Diese basieren auf dem normalen Googlebot-Index, der einzige Weg per robots.txt ist also, Googlebot zu blockieren – was dich auch aus der Suche entfernt. Beim Abgleich wird Groß-/Kleinschreibung ignoriert, und jeder Bot befolgt die spezifischste Gruppe, die ihn nennt. robots.txt ist eine Bitte; um eine Sperre durchzusetzen, nutze die Bot-Regeln deines CDN oder deiner Firewall, die Crawler anhand von IP oder Reverse-DNS verifizieren können.
Ähnliche kostenlose Tools
- Meta-Tag-Generator — Gib Title, Description und Social-Card-Angaben einer Seite ein und erhalte einen vollständigen, korrekt maskierten <head>-Block mit Live-Längenzählern.
- Schema-Markup-Generator — Formular ausfüllen, gültiges JSON-LD für Organization, LocalBusiness, Person, Article, Product, FAQ, Event oder Breadcrumbs erhalten. In den <head> kopieren.
- Open-Graph-Vorschau — Gib eine URL ein und sieh genau die Karte, die Facebook, LinkedIn, X und Slack anzeigen, alle gefundenen Tags und was fehlt.