跳到主要内容

AI 爬虫规则检查器

AI 爬虫规则检查器使用本站的 AI 爬虫标识列表,对指定路径检查所提供的 robots.txt。它合并匹配的产品标识组,并应用匹配最具体的路径规则。

发现问题,或者觉得哪里可以更好?每条消息我们都会阅读,并尽快修复。

AI 爬虫规则检查器使用本站的 AI 爬虫标识列表,对指定路径检查所提供的 robots.txt。它合并匹配的产品标识组,并应用匹配最具体的路径规则。

页面显示这些规则判定的允许或禁止及对应行。不抓取网站、不验证在线爬虫、不检查服务器标头,也不保证运营方遵守结果。

使用方法

  1. 粘贴需要检查的 robots.txt 文本。
  2. 输入以根目录开头的相对路径,可带查询字符串。
  3. 运行后查看各爬虫的匹配规则,以及被忽略行的诊断。

常见问题

会检查我正在运行的网站吗?

不会。只分析粘贴的文本。实际网站可能返回不同的 robots.txt、重定向、HTTP 状态或标头。

哪条规则优先?

匹配路径最长的规则优先。同等具体程度时 Allow 优先;精确产品标识组会合并,仅在没有匹配的专用组时使用通配组。

禁止爬取等于受到保护吗?

不是。robots.txt 是自愿遵守的爬虫指引,不是身份认证或访问控制,也不会删除已采集数据。

Google-Extended 会阻止 Google 搜索吗?

它是独立控制标识,并不是 Googlebot 本身。厂商用途规则和用户触发抓取需要查阅运营方最新文档,超出本工具的文本匹配范围。

路径比较

路径区分大小写,爬虫标识不区分大小写。支持通配符 * 和末尾 $;已编码保留字节与原始分隔符仍有区别。

例如 /private/public 可以覆盖较短的 /private 禁止规则。/a%2Fb 不会变成 /a/b;比较前会规范化已编码的非保留 ASCII 字符。

报告没有覆盖的内容

不支持的记录按行报告,不会被解释成虚构的禁止规则。最多接受 512,000 输入字符和 5,000 条路径规则。

爬虫列表与已有 robots 生成器共用。这里检查的是提供的标识,不是所有爬虫清单,也不是法律退出机制的验证。