WebForAgents 检测程序
WebForAgents 衡量 AI Agent 能不能读懂、用好一个网站。有人在 webforagents.org 输入某个网站后,我们的检测程序会访问这个网站的几个公开页面,看 Agent 实际会拿到什么,然后发布一份报告。它不登录、不提交表单、不注册账号,也不绕过任何验证。
怎样认出我们的请求
第一阶段用 HTTP 抓取页面,User-Agent 是:
Mozilla/5.0 (compatible; WebForAgents/1.0; +https://webforagents.org/bot)需要浏览器的页面,我们完全照基于浏览器的 AI Agent(Playwright、browser-use、各家 Agent 浏览器)的方式打开:Chrome 的标准 User-Agent,不加名字,也不加额外的请求头,这样我们看到的就是这些 Agent 看到的。你可以凭下面的 IP 地址认出这些访问:
<Chrome 的标准 User-Agent>HTTP 请求(第一、二阶段)另外带 From: [email protected]。第一阶段的请求还带 X-WebForAgents-Scan 请求头,里面是检测编号;就某次访问联系我们时,请附上它。
我们的请求来自这些 IP 地址: 43.130.47.235
我们访问多少
- 第一阶段:每次检测通常 20 到 35 个请求(含 robots.txt 和重定向),每个主机同一时间只开一个连接(HTTP/2 下最多同时 3 个请求),8 秒内结束。
- 第二阶段(Agent 找路预估):读取 robots.txt 里列出的站点地图(没有就读
/sitemap.xml,最多 5 个文件),再从首页出发顺着链接往下走,最深 4 次点击。最多 100 个页面,普通 GET、单个连接,每秒 1 个请求(遵守你的Crawl-delay,最长 5 秒),通常 5 分钟内结束。内容要等 JavaScript 运行后才出现的页面,改用浏览器打开,每次检测最多 20 页。它从不跟进退出登录、账户、结账、加入购物车、下载、搜索结果和一次性令牌链接,一收到 429 或 503 就停。 - 第三阶段:每次检测最多 15 个页面(通往网站常见任务的路上会经过的页面),像普通访客一样一次打开一个。不下载图片、媒体和字体,不点击、不输入任何东西。
- 每个网站按请求每天最多检测 3 次,两次至少间隔 10 分钟。结果 7 天内复用。查看报告不会触发新的检测。
robots.txt
我们先读 robots.txt,并按 RFC 9309 遵守它。我们的产品标识是 WebForAgents;没有针对它的分组时,我们遵守 * 分组。你禁止的路径我们不会抓取,需要这些路径的检查项会标为不适用。
退出检测
最简单的办法是用 robots.txt。写上下面两行,就会停止对你网站的所有检测:
User-agent: WebForAgents
Disallow: /之后报告会写明这个网站不允许检测,不显示分数,也不会被搜索引擎收录。如果你不想改 robots.txt,可以用你域名下的邮箱发信到 [email protected],或者向我们要一条 DNS TXT 记录或 /.well-known/ 下的一个文件,用来证明网站是你的。可以只让一个主机退出,也可以让整个域名退出。已有的报告仍然可以访问,会标上你退出的日期,并且不再被收录。
联系我们
有疑问、投诉,或者想让我们解释某次访问:[email protected]。