AI 爬虫规则检查器使用本站的 AI 爬虫标识列表,对指定路径检查所提供的 robots.txt。它合并匹配的产品标识组,并应用匹配最具体的路径规则。
页面显示这些规则判定的允许或禁止及对应行。不抓取网站、不验证在线爬虫、不检查服务器标头,也不保证运营方遵守结果。
使用方法
- 粘贴需要检查的 robots.txt 文本。
- 输入以根目录开头的相对路径,可带查询字符串。
- 运行后查看各爬虫的匹配规则,以及被忽略行的诊断。
常见问题
会检查我正在运行的网站吗?
不会。只分析粘贴的文本。实际网站可能返回不同的 robots.txt、重定向、HTTP 状态或标头。
哪条规则优先?
匹配路径最长的规则优先。同等具体程度时 Allow 优先;精确产品标识组会合并,仅在没有匹配的专用组时使用通配组。
禁止爬取等于受到保护吗?
不是。robots.txt 是自愿遵守的爬虫指引,不是身份认证或访问控制,也不会删除已采集数据。
Google-Extended 会阻止 Google 搜索吗?
它是独立控制标识,并不是 Googlebot 本身。厂商用途规则和用户触发抓取需要查阅运营方最新文档,超出本工具的文本匹配范围。
路径比较
路径区分大小写,爬虫标识不区分大小写。支持通配符 * 和末尾 $;已编码保留字节与原始分隔符仍有区别。
例如 /private/public 可以覆盖较短的 /private 禁止规则。/a%2Fb 不会变成 /a/b;比较前会规范化已编码的非保留 ASCII 字符。
报告没有覆盖的内容
不支持的记录按行报告,不会被解释成虚构的禁止规则。最多接受 512,000 输入字符和 5,000 条路径规则。
爬虫列表与已有 robots 生成器共用。这里检查的是提供的标识,不是所有爬虫清单,也不是法律退出机制的验证。
