FreeToolsForWeb
ヘルプコーヒーをおごる

llms.txt ジェネレーター＆バリデーター — AI クローラー用 robots.txt ルールも

フォーム、URL のリスト、サイトマップから仕様に準拠した llms.txt を作成し、既存のファイルを検証し、AI クローラー用の robots.txt ルールを生成します。

1〜2 文で：これが何で、誰のためのものか。
エージェントがリンクを読み解くのに役立つ補足：規約、バージョン、無視すべきもの。ここに見出しは入れません。
ページはパスの最初のセグメント（/docs/…、/blog/…）でグループ化されます。何も取得しません。
llms.txt
# Example Co

> Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks.

All API examples use the sandbox at https://sandbox.example.com. Prices are in USD.

## Docs

- [Quick start](https://example.com/docs/quick-start.md): Install and send your first request
- [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples
- [Authentication](https://example.com/docs/auth.md)

## Guides

- [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks

## Optional

- [Changelog](https://example.com/changelog.md)
- [Blog](https://example.com/blog)

3 セクションに 6 件のリンク。 llmstxt.org の構造に沿っています。 /llms.txt で配信されるよう、サイトのルートにアップロードしてください。

すべてブラウザ内で動作します。サイトから何かを取得することはなく、貼り付けた内容もアップロードされません。 すべての無料ツールを見る.

不具合や改善できそうな点を見つけましたか？いただいたメッセージはすべて読み、すぐに対応します。

この llms.txt ジェネレーターは、AI アシスタントやエージェントに、サイトが何で、どのページが重要かを伝える Markdown ファイルを作成します。llms.txt の提案（llmstxt.org）では、サイト名の H1、引用ブロックでの 1 行の要約、任意の補足、そしてリンクを "- [name](url): notes" の形式で並べる H2 セクションを求めており、エージェントが読み飛ばしてもよいページ用に "Optional" セクションを設けます。フォームに入力するか、サイトマップや URL のリストを貼り付ければ、まさにその構造でファイルが書き出されます。

バリデーターは既存の llms.txt を 1 行ずつチェックし、3 つ目のタブでは重要な AI クローラー向けの robots.txt ルールを、モデル学習用のボット、AI 検索、ユーザー操作によるフェッチャーに分けて作成します。どちらについても現実的に考えてください。llms.txt は一部の AI ツールが読み、多くは無視する提案にすぎず、robots.txt は行儀の良いクローラーが従う「お願い」であって、鍵ではありません。

使い方

  1. サイト名と、それが何で誰のためのサイトかを 1 文で要約して入力します。
  2. サイトマップ XML か URL のリストを貼り付けて「セクションを置き換える」をクリックするか、リンクを「タイトル | URL | 補足」の形式で 1 行に 1 つずつ入力します。
  3. セクション名を変更し、AI が質問に答える役に立たないページを削除して、あれば便利な程度のページは Optional に移します。
  4. llms.txt をコピーまたはダウンロードし、https://yourdomain/llms.txt で読み込めるようにサイトのルートにアップロードします。
  5. AI クローラーのタブを開いてプリセットを選び、ボットを個別に調整して、既存の robots.txt にルールを追加します。

よくある質問

llms.txt とは何ですか？

llms.txt は、2024 年に Jeremy Howard が llmstxt.org で提案した、Web サイトのルートに置く Markdown ファイルです。言語モデルに向けて、サイトの短く厳選された地図を提供します。名前、要約、そして最も役立つページのリストで、理想的にはきれいな .md 版へのリンクを含みます。検索クローラーではなく、アシスタントやエージェントがコンテンツを必要とする推論時に読まれることを想定しています。

ChatGPT、Claude、Google は llms.txt を使っていますか？

大手の AI 企業で、llms.txt をランキングやクロールのシグナルとして使うと明言したところはなく、Google は検索には使わないと述べています。現在の実用的な用途は、サイトを指定されたときにこれを取得するコーディングアシスタント、エージェント、ドキュメントツールで、開発者向けドキュメントのサイトが最初に導入したのはそのためです。公開する手間は小さいものの、それだけでトラフィックが変わることは期待しないでください。

llms.txt と llms-full.txt の違いは何ですか？

llms.txt は索引で、補足付きのリンクの短いリストです。llms-full.txt は、いくつかのドキュメントプラットフォームで使われている慣習で、ドキュメントの全文を 1 つの Markdown ファイルに連結し、ツールが 1 回のリクエストですべてを読み込めるようにしたものです。このツールが作成するのは llms.txt です。llms-full.txt は、全文がモデルのコンテキストに収まるドキュメントサイトで使いましょう。

GPTBot などの AI クローラーをブロックするには？

robots.txt に、クローラーのユーザーエージェントと Disallow: / を書いたグループを追加します。たとえば User-agent: GPTBot の次に Disallow: / を書きます。User-agent の行を続けて並べれば、複数のユーザーエージェントで 1 つのグループを共有できます。OpenAI（GPTBot）、Anthropic（ClaudeBot）、Google（Google-Extended トークン）、Apple（Applebot-Extended）、Common Crawl（CCBot）の学習用クローラーは、これらのルールに従うと表明しています。

AI クローラーをブロックすると、ChatGPT や Claude の回答からサイトが消えますか？

どのボットをブロックするかによります。GPTBot と ClaudeBot は学習データを収集するボットで、これらをブロックしても、OAI-SearchBot や Claude-SearchBot が AI 検索の回答や引用のためにページをインデックスするのは止まりません。「学習はブロック、検索は許可」のプリセットなら、学習からはオプトアウトしつつ AI 検索での露出は保てます。ChatGPT-User や Perplexity-User のようなユーザー操作によるフェッチャーは、人の代わりにリアルタイムで動作し、OpenAI と Perplexity は robots.txt が適用されない場合があるとしています。

Google-Extended は Google の検索順位に影響しますか？

いいえ。Google-Extended は robots.txt のトークンで、別のクローラーではありません。取得するのは引き続き Googlebot です。これを Disallow にすると、Gemini モデルの学習や Gemini の回答のグラウンディングにコンテンツを使わないよう Google に伝えることになり、Google は Google 検索（AI による概要を含む）への掲載や順位には影響しないと明言しています。AI による概要は Googlebot のルールで制御されます。

llms.txt の書式リファレンス

• 1 行目："# Name"。H1 は唯一の必須要素で、ちょうど 1 つだけにします。

• 次に任意の "> summary" の引用ブロック：以下のすべてを理解するためにエージェントが必要とする要点です。

• 次に任意の自由記述（段落やリスト。見出しは不可）で、リンクの使い方を説明します。

• 次に任意の数の "## Section" 見出しを置き、それぞれの後に、各項目がリンクで始まる Markdown のリストを続けます："- [Page name](https://url): optional note"。

• "## Optional" という名前のセクションには、短いコンテキストが必要なときに読み飛ばしてよいリンクを入れます。慣例として最後に置きます。

この提案では、重要なページのきれいな Markdown 版を、同じ URL に .md を付けたアドレスで配信することも勧めています（page.html.md、フォルダーなら index.html.md）。llms.txt からそれらの .md 版にリンクすれば、エージェントはナビゲーションやスクリプトのないテキストを得られます。

目的別の AI クローラー

• 学習用：GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google、トークンのみ）、Applebot-Extended（Apple、トークンのみ）、CCBot（Common Crawl）、Meta-ExternalAgent（Meta）、Bytespider（ByteDance）、cohere-training-data-crawler、AI2Bot、Diffbot、Timpibot、omgili。

• AI 検索と回答：OAI-SearchBot（ChatGPT 検索）、Claude-SearchBot、PerplexityBot、Amazonbot、DuckAssistBot、YouBot。

• ユーザー操作による取得：ChatGPT-User、Claude-User、Perplexity-User、Meta-ExternalFetcher、MistralAI-User。人が頼んだためにページを取得するもので、OpenAI と Perplexity は robots.txt が適用されない場合があるとし、Anthropic は Claude-User が robots.txt に従うとしています。

• 意図的にこの一覧から外しているもの：Googlebot、Bingbot、Applebot。これらは通常の検索（および Google の AI による概要や Bing の Copilot の回答）を支えているため、ブロックすると検索結果から消えてしまいます。

Bytespider は robots.txt を無視すると広く報告されています。従わないボットには、確認済みのボットの身元や IP 範囲で照合できる CDN やファイアウォールのボットルールを使ってください。

どのプリセットを選ぶか

「すべての AI を許可」は、AI の回答で最大限の露出を得たいドキュメント、製品、マーケティングのサイトに向いています。「学習はブロック、検索は許可」は、モデルの学習には協力せずに、ChatGPT 検索、Claude、Perplexity で引用・リンクされたいパブリッシャーやクリエイターに向いています。「すべての AI をブロック」は、有料、非公開、ライセンス付きのコンテンツに向いていますが、AI 検索ツールからは姿を消すことになります。

変更はさかのぼって適用されません。すでに収集されたコンテンツは既存のデータセットに残ります。クローラーは robots.txt を定期的に（通常は 1 日以内に）読み直し、AI 検索のインデックスはそれぞれのスケジュールで更新されます。

関連する無料ツール

  • robots.txt ジェネレーター — すべて許可、ステージング、WordPress のプリセット、AI クローラーのセクション（学習はブロック、AI 検索は維持）、インデックスから消えるミスへの警告付きで robots.txt を作成します。
  • メタタグ生成 — ページのタイトル、ディスクリプション、SNS カードの情報を入力すると、文字数カウンター付きで、正しくエスケープされた完全な <head> ブロックを生成します。
  • 構造化データ作成 — フォームに入力するだけで、Organization、LocalBusiness、Person、Article、Product、FAQ、Event、パンくずリストの有効な JSON-LD を作成。<head> にコピーするだけです。
  • MCP 設定ジェネレーター — MCP サーバーを一度定義するだけで、Claude Desktop、Claude Code、Cursor、VS Code、Windsurf、Codex 用の正確な設定ファイルやコマンドが得られます。