コンテンツへスキップ

AIクローラーチェッカー

AIクローラーチェッカーは、サイトのAIクローラー識別子一覧に対し、指定パスで貼り付けたrobots.txtを評価します。一致する製品識別子のグループを統合し、最も具体的な一致パス規則を使います。

不具合や改善できそうな点を見つけましたか?いただいたメッセージはすべて読み、すぐに対応します。

AIクローラーチェッカーは、サイトのAIクローラー識別子一覧に対し、指定パスで貼り付けたrobots.txtを評価します。一致する製品識別子のグループを統合し、最も具体的な一致パス規則を使います。

ルール上の許可・拒否と一致行を表示します。サイト取得、実際のbotの検証、サーバーヘッダーの確認はせず、運営者が結果に従う保証もありません。

使い方

  1. 確認したいrobots.txt本文を貼り付けます。
  2. ルート相対パスを入力します。クエリ文字列も任意で付けられます。
  3. 実行し、各クローラーの一致ルールと無視行の診断を確認します。

よくある質問

公開サイトを直接調べますか?

いいえ。貼り付けた本文のみ解析します。公開サイトでは別のrobots.txt、リダイレクト、HTTPステータス、ヘッダーを返す場合があります。

どのルールが優先されますか?

一致パスが最長のルールです。同じ具体性ならAllowを優先します。完全一致の識別子グループは統合し、専用グループがない場合だけワイルドカードグループを使います。

ブロックされていれば保護されていますか?

いいえ。robots.txtは自主的なクローラー指針であり、認証やアクセス制御ではありません。収集済みのデータも削除しません。

Google-ExtendedはGoogle検索をブロックしますか?

Googlebotそのものとは異なる制御識別子です。提供元の利用方針やユーザー操作による取得は、このテキスト照合とは別に運営元の最新文書を確認してください。

パスの比較

パスは大文字小文字を区別し、クローラー識別子は区別しません。*と末尾の$を扱います。予約文字のエンコード済みバイトは、リテラルの区切り文字と区別します。

例えば/private/publicは、より短い/privateの拒否を上書きできます。/a%2Fbは/a/bになりません。非予約ASCIIのエンコードは比較前に正規化します。

レポートの対象外

非対応の記録は独自の拒否ルールとして解釈せず、行番号で報告します。入力は最大512,000文字、パス規則は5,000件です。

一覧は既存のrobots生成ツールと共有します。与えられた識別子を評価するものであり、全クローラーの網羅調査や法的な収集拒否の検証ではありません。