Zum Inhalt springen

KI-Crawler-Prüfer

Der KI-Crawler-Prüfer testet eingegebene robots.txt-Regeln für einen Pfad gegen die KI-Crawler-Kennungsliste der Website. Er vereinigt passende Produktgruppen und verwendet die spezifischste passende Pfadregel.

Ein Problem gefunden oder etwas, das besser sein könnte? Wir lesen jede Nachricht und beheben Fehler schnell.

Der KI-Crawler-Prüfer testet eingegebene robots.txt-Regeln für einen Pfad gegen die KI-Crawler-Kennungsliste der Website. Er vereinigt passende Produktgruppen und verwendet die spezifischste passende Pfadregel.

Die Seite zeigt für diese Regeln erlaubt oder gesperrt mit passender Zeile. Sie ruft keine Website ab, prüft keine tatsächlichen Bots oder Serverheader und garantiert nicht, dass ein Betreiber das Ergebnis beachtet.

So funktioniert’s

  1. Füge den zu prüfenden robots.txt-Text ein.
  2. Gib einen wurzelrelativen Pfad mit optionaler Query-Zeichenfolge ein.
  3. Starte und prüfe für jeden Crawler passende Regeln und Hinweise auf ignorierte Zeilen.

Häufige Fragen

Wird meine aktuelle Website geprüft?

Nein. Analysiert wird nur eingefügter Text. Eine echte Website kann andere robots.txt-Inhalte, Weiterleitungen, HTTP-Statuscodes oder Header liefern.

Welche Regel gewinnt?

Der längste passende Pfad gewinnt. Bei gleicher Spezifität gewinnt Allow; exakte Produktgruppen werden vereinigt, die Sternchengruppe wird nur ohne passende spezifische Gruppe verwendet.

Bedeutet gesperrt auch geschützt?

Nein. robots.txt ist eine freiwillige Crawler-Anweisung, keine Authentifizierung oder Zugriffskontrolle. Bereits gesammelte Daten werden nicht gelöscht.

Sperrt Google-Extended die Google-Suche?

Es ist eine separate Steuerkennung, nicht Googlebot selbst. Anbieterrichtlinien und nutzerinitiierte Abrufe erfordern die aktuelle Betreiberdokumentation über diesen Textabgleich hinaus.

Pfade vergleichen

Pfade beachten Groß- und Kleinschreibung, Crawler-Kennungen nicht. Platzhalter * und abschließendes $ werden unterstützt; kodierte reservierte Bytes bleiben von wörtlichen Trennzeichen verschieden.

Zum Beispiel kann /private/public eine kürzere /private-Sperre übersteuern. /a%2Fb wird nicht zu /a/b; kodiertes unreserviertes ASCII wird vor dem Vergleich normalisiert.

Was der Bericht nicht erfasst

Nicht unterstützte Einträge werden zeilenweise gemeldet, statt als erfundene Sperrregeln interpretiert. Akzeptiert werden bis zu 512.000 Zeichen und 5.000 Pfadregeln.

Die Crawler-Liste stammt aus dem bestehenden robots-Generator. Geprüft werden deren Kennungen, keine vollständige Crawler-Erhebung oder rechtliche Opt-out-Bestätigung.