Robots.txt 生成器 — 生成、检查并下载 robots.txt
生成 robots.txt，提供全部允许、测试环境和 WordPress 预设，带 AI 爬虫设置（禁止训练、保留 AI 搜索），并对会导致网站被移出索引的错误发出警告。
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
将其上传到域名根目录，使其可通过 https://yourdomain.com/robots.txt 访问。放在子文件夹中会被忽略。
完全在浏览器中运行。你输入的任何内容都不会发送给我们或被存储。 浏览全部免费工具.
发现问题，或者觉得哪里可以更好？每条消息我们都会阅读，并尽快修复。
这款免费 robots.txt 生成器用来创建爬虫访问你网站时最先读取的文件。选择规则适用的用户代理，列出允许和禁止的路径，加上网站地图，然后下载。预设覆盖了大家实际会搜索的场景：全部允许；屏蔽 GPTBot 和 ClaudeBot 等 AI 训练爬虫，同时保留 Google 和 AI 搜索；封锁测试网站；以及合理的 WordPress 和电商默认设置。
robots.txt 很小，却很容易出大错：“User-agent: *”下的一行“Disallow: /”就会让网站从搜索中消失，而且它从测试环境被带到生产环境的情况比大家承认的要多得多。生成器会对这一点及其他常见错误发出警告，下面的说明则解释了这个文件能做什么、不能做什么——包括它控制的是抓取而不是索引。
使用方法
- 选择最接近你情况的预设，或从“全部允许”开始。
- 在 AI 爬虫设置中，选择全部允许、禁止 AI 训练但允许 AI 搜索，或屏蔽所有 AI；勾选或取消勾选单个爬虫进行微调。
- 为每个规则组列出其适用的用户代理（* 表示全部），然后列出允许或禁止的路径。路径以 / 开头，相对于网站根目录。
- 添加网站地图的绝对 URL；这是唯一一行能促进收录而不是限制收录的指令。
- 阅读输出上方显示的警告。除非你是在测试网站上有意屏蔽爬虫，否则请修正它们。
- 下载 robots.txt 并上传到域名根目录，使其可通过 yourdomain.com/robots.txt 访问。在 Google Search Console 的 robots.txt 报告中进行验证。
常见问题
robots.txt 能把页面从 Google 中移除吗？
不能。它阻止的是抓取，而不是索引。在 robots.txt 中被屏蔽的页面，如果有其他页面链接到它，仍可能出现在搜索结果中（不带摘要）。要让页面不被收录，应允许抓取，并添加 noindex meta 标签或响应头；Google 必须读取页面才能看到这条指令。robots.txt 用于节省抓取预算，并让爬虫远离后台、站内搜索结果和分面筛选 URL。
如何屏蔽 AI 爬虫而不影响搜索？
在 AI 爬虫设置中选择“禁止 AI 训练，允许 AI 搜索”。它不改动“User-agent: *”，对训练爬虫（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent、Amazonbot）禁止 /，并明确允许 AI 搜索和用户请求类代理（OAI-SearchBot、Claude-SearchBot、PerplexityBot、ChatGPT-User、Claude-User、Perplexity-User），这样 AI 助手仍然可以引用和链接你的网站。Google-Extended 只控制 Gemini 训练；Googlebot 和搜索不受影响。robots.txt 是自愿遵守的：守规矩的爬虫会遵守，采集程序则不会。
GPTBot、OAI-SearchBot 和 ChatGPT-User 有什么区别？
它们是 OpenAI 的三个代理，各有独立的 robots.txt 控制。GPTBot 收集可能用于训练模型的内容。OAI-SearchBot 为 ChatGPT 搜索编入页面，屏蔽它会让你从这些回答和链接中消失。ChatGPT-User 在用户要求 ChatGPT 访问页面时抓取，OpenAI 表示 robots.txt 规则可能不适用于这类用户发起的抓取。Anthropic（ClaudeBot、Claude-SearchBot、Claude-User）和 Perplexity（PerplexityBot、Perplexity-User）也采用同样的划分。
Allow 和 Disallow 有什么区别？
Disallow 屏蔽路径；Allow 在被屏蔽的路径中重新开放一个更具体的路径，例如禁止 /wp-admin/，同时允许 /wp-admin/admin-ajax.php。规则冲突时，Google 采用最具体（最长）的匹配路径。空的 Disallow: 表示全部允许。
路径中可以使用通配符吗？
Google 和 Bing 支持 *（任意字符序列）和 $（URL 结尾）：Disallow: /*?sort= 屏蔽任何包含 ?sort= 的 URL，Disallow: /*.pdf$ 屏蔽 PDF。较老或较小的爬虫可能会按字面意思处理这些符号，所以通配符规则留给大型搜索引擎，其余规则保持简单。
robots.txt 应该放在哪里？
放在每个主机的根目录下，并使用相同的协议：https://www.example.com/robots.txt。放在子文件夹中的文件会被忽略，example.com 和 www.example.com 各自都需要一份（通常相同的）副本。它必须是纯文本、UTF-8 编码，且小于 500 KB。
一份做对了事的 robots.txt
对大多数公开网站来说，整个文件就是：不带任何 Disallow 的 User-agent: *，外加一行 Sitemap。只有对确实无穷无尽或对搜索毫无用处的 URL 空间才添加 Disallow：站内搜索结果、购物车和结账、后台，以及筛选和排序产生的参数组合。不要屏蔽 CSS、JavaScript 或图片；Google 需要它们来渲染页面，屏蔽它们可能会影响排名。
让网站从搜索中消失的常见错误
• 把测试环境的文件（Disallow: /）发布到生产环境。每次部署都要检查 robots.txt。
• 屏蔽了包含网站渲染所需 CSS 或 JS 的目录。
• 用 robots.txt 而不是 noindex 来隐藏页面，结果它们以光秃秃的 URL 形式残留在搜索结果中。
• Sitemap 行指向一个返回 404 或会重定向的 URL。
• 规则中的路径不以 / 开头，这样的规则会被悄悄忽略。
按用途划分的 AI 爬虫（2026 年 10 月核实）
• 训练：GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google，由 Googlebot 读取的控制标记）、Applebot-Extended（Apple，由 Applebot 读取的控制标记）、CCBot（Common Crawl，其开放数据集被许多模型开发者使用）、Bytespider（字节跳动）、Meta-ExternalAgent（Meta）、Amazonbot（Amazon）。
• AI 搜索：OAI-SearchBot（ChatGPT 搜索）、Claude-SearchBot（Claude）、PerplexityBot（Perplexity）。屏蔽它们会让你的页面从这些产品的回答和引用中消失。
• 用户请求：ChatGPT-User、Claude-User、Perplexity-User 会在有人让 AI 助手阅读某个页面时去抓取。运营方对它们的处理方式与自动抓取不同，有些表示 robots.txt 可能不适用。
• anthropic-ai 和 Claude-Web 等已停用的名称仍保留在屏蔽列表中，因为旧文件还在使用它们；保留它们没有任何坏处。
Google-Extended 不会让网站退出 AI 概览或 AI 模式：它们基于普通的 Googlebot 索引构建，所以通过 robots.txt 退出的唯一办法是屏蔽 Googlebot，而这也会让你从搜索中消失。匹配不区分大小写，每个爬虫都遵守点名它的最具体的那个规则组。robots.txt 只是一种请求；要强制屏蔽，请使用 CDN 或防火墙的机器人规则，它们可以通过 IP 或反向 DNS 验证爬虫身份。
相关免费工具
- Meta 标签生成器 — 填写页面的标题、描述和社交卡片信息，即可得到完整且正确转义的 <head> 代码块，并实时显示长度计数。
- Schema 标记生成器 — 填写表单，即可获得 Organization、LocalBusiness、Person、Article、Product、FAQ、Event 或面包屑导航的有效 JSON-LD。复制到 <head> 中即可。
- Open Graph 预览 — 输入 URL，即可看到 Facebook、LinkedIn、X 和 Slack 将显示的卡片、找到的所有标签以及缺失的内容。