AIクローラーチェッカーは、サイトのAIクローラー識別子一覧に対し、指定パスで貼り付けたrobots.txtを評価します。一致する製品識別子のグループを統合し、最も具体的な一致パス規則を使います。
ルール上の許可・拒否と一致行を表示します。サイト取得、実際のbotの検証、サーバーヘッダーの確認はせず、運営者が結果に従う保証もありません。
使い方
- 確認したいrobots.txt本文を貼り付けます。
- ルート相対パスを入力します。クエリ文字列も任意で付けられます。
- 実行し、各クローラーの一致ルールと無視行の診断を確認します。
よくある質問
公開サイトを直接調べますか?
いいえ。貼り付けた本文のみ解析します。公開サイトでは別のrobots.txt、リダイレクト、HTTPステータス、ヘッダーを返す場合があります。
どのルールが優先されますか?
一致パスが最長のルールです。同じ具体性ならAllowを優先します。完全一致の識別子グループは統合し、専用グループがない場合だけワイルドカードグループを使います。
ブロックされていれば保護されていますか?
いいえ。robots.txtは自主的なクローラー指針であり、認証やアクセス制御ではありません。収集済みのデータも削除しません。
Google-ExtendedはGoogle検索をブロックしますか?
Googlebotそのものとは異なる制御識別子です。提供元の利用方針やユーザー操作による取得は、このテキスト照合とは別に運営元の最新文書を確認してください。
パスの比較
パスは大文字小文字を区別し、クローラー識別子は区別しません。*と末尾の$を扱います。予約文字のエンコード済みバイトは、リテラルの区切り文字と区別します。
例えば/private/publicは、より短い/privateの拒否を上書きできます。/a%2Fbは/a/bになりません。非予約ASCIIのエンコードは比較前に正規化します。
レポートの対象外
非対応の記録は独自の拒否ルールとして解釈せず、行番号で報告します。入力は最大512,000文字、パス規則は5,000件です。
一覧は既存のrobots生成ツールと共有します。与えられた識別子を評価するものであり、全クローラーの網羅調査や法的な収集拒否の検証ではありません。
