FreeToolsForWeb
帮助请我喝杯咖啡

llms.txt 生成与验证工具 — 附 AI 爬虫 robots.txt 规则

通过表单、URL 列表或网站地图生成符合规范的 llms.txt，验证现有文件，并为 AI 爬虫生成 robots.txt 规则。

一两句话：这是什么、面向谁。
帮助智能体理解链接的说明：约定、版本、可忽略的内容。此处不要使用标题。
页面按路径的第一段分组（/docs/…、/blog/…）。不会获取任何内容。
llms.txt
# Example Co

> Example Co is an appointment scheduling API for clinics. These docs cover setup, the REST API and webhooks.

All API examples use the sandbox at https://sandbox.example.com. Prices are in USD.

## Docs

- [Quick start](https://example.com/docs/quick-start.md): Install and send your first request
- [API reference](https://example.com/docs/api.md): Every endpoint with request and response examples
- [Authentication](https://example.com/docs/auth.md)

## Guides

- [Webhooks](https://example.com/guides/webhooks.md): Event types, retries and signature checks

## Optional

- [Changelog](https://example.com/changelog.md)
- [Blog](https://example.com/blog)

3 个分区中共 6 个链接。 符合 llmstxt.org 的结构。 把它上传到网站根目录，使其可通过 /llms.txt 访问。

完全在你的浏览器中运行。不会从你的网站获取任何内容，你粘贴的内容也不会上传。 浏览全部免费工具.

发现问题，或者觉得哪里可以更好？每条消息我们都会阅读，并尽快修复。

这款 llms.txt 生成器用来创建一个 Markdown 文件，告诉 AI 助手和智能体你的网站是做什么的、哪些页面最重要。llms.txt 提案（llmstxt.org）要求：一个写有网站名称的 H1，一段放在引用块中的一句话摘要，可选的说明，然后是若干 H2 分区，以“- [名称](url): 说明”的形式列出链接，另有一个“Optional”分区存放智能体可以跳过的页面。填写表单，或粘贴网站地图或 URL 列表，就能按这个结构生成文件。

验证器会逐行检查现有的 llms.txt，第三个标签页则为重要的 AI 爬虫编写 robots.txt 规则，并把模型训练爬虫与 AI 搜索爬虫、用户触发的抓取程序区分开来。对两者都要有合理的预期：llms.txt 只是一项提案，有些 AI 工具会读取，很多则会忽略；robots.txt 是一种请求，守规矩的爬虫会遵守，但它并不是一把锁。

使用方法

  1. 输入网站名称，并用一句话概括网站是做什么的、面向谁。
  2. 粘贴网站地图 XML 或 URL 列表，然后点击“替换分区”；或按“标题 | URL | 说明”的格式逐行输入链接。
  3. 重命名分区，删掉对 AI 回答问题没有帮助的页面，把可有可无的页面移到 Optional。
  4. 复制或下载 llms.txt，上传到网站根目录，确保能通过 https://yourdomain/llms.txt 访问。
  5. 打开 AI 爬虫标签页，选择一个预设，调整单个爬虫的设置，然后把规则添加到现有的 robots.txt 中。

常见问题

什么是 llms.txt？

llms.txt 是放在网站根目录下的 Markdown 文件，由 Jeremy Howard 于 2024 年在 llmstxt.org 提出，为语言模型提供一份简短、精选的网站导览：名称、摘要以及最有用页面的列表，最好还附有干净的 .md 版本。它供推理时读取——即助手或智能体需要你的内容时——而不是给搜索引擎爬虫用的。

ChatGPT、Claude 或 Google 会使用 llms.txt 吗？

目前没有哪家大型 AI 公司承诺把 llms.txt 用作排名或抓取信号，Google 也表示搜索不会使用它。如今它的实际用途在于编程助手、智能体和文档工具——当它们被指向某个网站时会去抓取它，这也是开发者文档网站最先采用它的原因。发布它几乎没有成本，但不要指望单靠它带来流量变化。

llms.txt 和 llms-full.txt 有什么区别？

llms.txt 是索引：一份带说明的简短链接列表。llms-full.txt 是多个文档平台采用的一种约定，把文档全文拼接成一个 Markdown 文件，让工具一次请求就能加载全部内容。本工具生成的是 llms.txt；llms-full.txt 适合整套文档能装进模型上下文的文档网站。

如何屏蔽 GPTBot 和其他 AI 爬虫？

在 robots.txt 中添加一个包含该爬虫用户代理和 Disallow: / 的组，例如 User-agent: GPTBot，下一行写 Disallow: /。多个用户代理可以共用一个组，只需在连续的 User-agent 行中依次列出。OpenAI（GPTBot）、Anthropic（ClaudeBot）、Google（Google-Extended 标记）、Apple（Applebot-Extended）和 Common Crawl（CCBot）的训练爬虫都声明会遵守这些规则。

屏蔽 AI 爬虫会让我的网站从 ChatGPT 或 Claude 的回答中消失吗？

取决于你屏蔽的是哪个爬虫。GPTBot 和 ClaudeBot 收集训练数据；屏蔽它们并不会阻止 OAI-SearchBot 或 Claude-SearchBot 为 AI 搜索回答和引用编入页面。“禁止训练、允许搜索”预设可以让你退出训练，同时仍在 AI 搜索中可见。ChatGPT-User 和 Perplexity-User 等用户触发的抓取程序是实时代表某个人行事的，OpenAI 和 Perplexity 表示 robots.txt 可能不适用于它们。

Google-Extended 会影响我的 Google 排名吗？

不会。Google-Extended 是一个 robots.txt 标记，而不是独立的爬虫；实际抓取的仍是 Googlebot。禁止它是告诉 Google 不要用你的内容训练 Gemini 模型或为 Gemini 回答提供依据。Google 声明它对 Google 搜索（包括 AI 概览）的收录和排名没有任何影响，这些由 Googlebot 规则控制。

llms.txt 格式参考

• 第 1 行：“# 名称”。H1 是唯一必需的元素，且只能有一个。

• 接着是可选的“> 摘要”引用块：智能体理解下文所需的关键信息。

• 然后是可选的自由文本（段落或列表，但不能有标题），说明如何使用这些链接。

• 然后是任意数量的“## 分区”标题，每个后面跟一个 Markdown 列表，每一项都以链接开头：“- [页面名称](https://url): 可选说明”。

• 名为“## Optional”的分区存放在需要缩短上下文时可以跳过的链接。按惯例放在最后。

该提案还建议在同一 URL 后加上 .md 来提供重要页面的干净 Markdown 副本（page.html.md，文件夹则为 index.html.md）。在 llms.txt 中链接这些 .md 版本，能让智能体拿到不含导航和脚本的纯文本。

按用途划分的 AI 爬虫

• 训练：GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google，仅为标记）、Applebot-Extended（Apple，仅为标记）、CCBot（Common Crawl）、Meta-ExternalAgent（Meta）、Bytespider（字节跳动）、cohere-training-data-crawler、AI2Bot、Diffbot、Timpibot、omgili。

• AI 搜索与回答：OAI-SearchBot（ChatGPT 搜索）、Claude-SearchBot、PerplexityBot、Amazonbot、DuckAssistBot、YouBot。

• 用户触发的抓取：ChatGPT-User、Claude-User、Perplexity-User、Meta-ExternalFetcher、MistralAI-User。它们是因为有人提问才去抓取页面；OpenAI 和 Perplexity 表示 robots.txt 可能不适用，而 Anthropic 表示 Claude-User 会遵守。

• 特意未列入的：Googlebot、Bingbot 和 Applebot。它们支撑着常规搜索（以及 Google 的 AI 概览和 Bing 的 Copilot 回答），屏蔽它们会让你从搜索结果中消失。

据广泛报道，Bytespider 会无视 robots.txt。对于不守规矩的爬虫，请使用 CDN 或防火墙的机器人规则，它们可以根据经过验证的爬虫身份或 IP 范围进行匹配。

该选哪个预设

“全部允许”适合希望在 AI 回答中最大程度曝光的文档、产品和营销网站。“禁止训练、允许搜索”适合希望被 ChatGPT 搜索、Claude 和 Perplexity 引用和链接、但不想为模型训练贡献内容的出版商和创作者。“屏蔽所有 AI”适合付费墙内、私密或有授权限制的内容，代价是从 AI 搜索工具中消失。

更改不会追溯生效：已经收集的内容仍留在现有数据集中。爬虫会定期重新读取 robots.txt，通常在一天之内；AI 搜索索引则按各自的节奏更新。

相关免费工具

  • Robots.txt 生成器 — 生成 robots.txt，提供全部允许、测试环境和 WordPress 预设，带 AI 爬虫设置（禁止训练、保留 AI 搜索），并对会导致网站被移出索引的错误发出警告。
  • Meta 标签生成器 — 填写页面的标题、描述和社交卡片信息，即可得到完整且正确转义的 <head> 代码块，并实时显示长度计数。
  • Schema 标记生成器 — 填写表单，即可获得 Organization、LocalBusiness、Person、Article、Product、FAQ、Event 或面包屑导航的有效 JSON-LD。复制到 <head> 中即可。
  • MCP 配置生成器 — 只需定义一次 MCP 服务器，即可得到 Claude Desktop、Claude Code、Cursor、VS Code、Windsurf 和 Codex 各自所需的配置文件或命令。