robots.txt ジェネレーター — robots.txt の作成・チェック・ダウンロード

いいえ。止まるのはクロールで、インデックスではありません。robots.txt でブロックしたページも、他のページからリンクされていれば検索結果に（スニペットなしで）表示されることがあります。ページをインデックスさせないには、クロールを許可したうえで noindex のメタタグかヘッダーを付けます。指示を見るには Google がページを読む必要があるからです。robots.txt は、クロールバジェットの節約や、管理画面、検索結果ページ、ファセットの URL からボットを遠ざけるために使いましょう。

AI クローラーのセクションで「AI 学習はブロック、AI 検索は許可」を選びます。「User-agent: *」には手を付けず、学習用クローラー（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent、Amazonbot）に / を禁止し、AI 検索とユーザーリクエストのエージェント（OAI-SearchBot、Claude-SearchBot、PerplexityBot、ChatGPT-User、Claude-User、Perplexity-User）を明示的に許可するので、アシスタントは引き続きサイトを引用・リンクできます。Google-Extended が制御するのは Gemini の学習だけで、Googlebot と検索には影響しません。robots.txt は任意のルールで、行儀の良いクローラーは従いますが、スクレイパーは従いません。

robots.txt で個別に制御できる OpenAI の 3 つのエージェントです。GPTBot はモデルの学習に使われる可能性のあるコンテンツを収集します。OAI-SearchBot は ChatGPT 検索のためにページをインデックスするので、ブロックするとその回答やリンクから消えます。ChatGPT-User はユーザーが ChatGPT に頼んだときにページを取得するもので、OpenAI はこうしたユーザー起点の取得には robots.txt のルールが適用されない場合があるとしています。Anthropic（ClaudeBot、Claude-SearchBot、Claude-User）と Perplexity（PerplexityBot、Perplexity-User）も同じように分かれています。

Disallow はパスをブロックし、Allow はブロックされたパスの中のより狭いパスを再び開放します。たとえば /wp-admin/ を禁止しつつ /wp-admin/admin-ajax.php を許可する、といった使い方です。ルールが競合する場合、Google は一致するパスのうち最も具体的な（最も長い）ものを適用します。空の Disallow: はすべてを許可するという意味です。

Google と Bing は *（任意の文字列）と $（URL の末尾）に対応しています。Disallow: /*?sort= は ?sort= を含むすべての URL を、Disallow: /*.pdf$ は PDF をブロックします。古いクローラーや小規模なクローラーはこれらを文字どおりに扱うことがあるので、ワイルドカードのルールは大手の検索エンジン向けにとどめ、それ以外はシンプルにしておきましょう。

各ホストのルートに、同じプロトコルで置きます：https://www.example.com/robots.txt。サブフォルダー内のファイルは無視され、example.com と www.example.com にはそれぞれ専用の（通常は同じ内容の）ファイルが必要です。プレーンテキスト、UTF-8、500 KB 未満でなければなりません。