首页lab.webforagents.dev/
按公开标准查页面代码:Agent 认不认得出、读不读得到
浏览器型 Agent96
按公开标准(WCAG、axe、Lighthouse)查任务页的代码:控件有没有名称、表单有没有标签、有没有遮挡。我们只打开页面读取,不点击、不输入。
B1浏览器能打开
我们发现
- 页面能在浏览器里正常加载。
为什么重要
浏览器型 Agent 要先把页面加载出来,才能做别的事。
自己验证
在浏览器的无痕窗口里打开 https://lab.webforagents.dev/。B2交互元素可识别
卡住读无障碍树读 DOM
我们发现
- 248 个交互元素中,100% 能被 Agent 识别。
为什么重要
浏览器型 Agent 靠无障碍树了解页面。没有名称的控件,或者不是控件却能点击的元素,对它们来说要么看不见,要么含义不明。
这项不通过的话,这部分得分最高只能到 69(D 级)。
自己验证
npx @axe-core/cli https://lab.webforagents.dev/ --rules button-name,link-name,labelB4渲染后的关键信息
卡住读无障碍树读 DOM
我们发现
- 「弄清网站是做什么的」:https://lab.webforagents.dev/ 上看得到要找的信息。
- 「查价格方案」:https://lab.webforagents.dev/pricing 上看得到要找的信息。
- 「查文档 / 帮助」:https://lab.webforagents.dev/docs 上看得到要找的信息。
- 「找到联系方式」:https://lab.webforagents.dev/contact 上看得到要找的信息。
为什么重要
Agent 到了任务的目标页,要找的信息(价格、正文、联系方式、网站说明)必须是页面上看得见的文字。只在折叠内容、隐藏数据或图片里的,Agent 读不到或要多走几步。
自己验证
用浏览器打开任务的目标页(例如 https://lab.webforagents.dev/ 上的商品页、联系页),不点任何展开按钮,看要找的信息是否直接显示在页面上。B10真链接
卡住读 DOM读无障碍树
我们发现
- 页面上的链接都有真实网址。
为什么重要
读 DOM 的 Agent 按网址跟链接。用脚本跳转的 div、span 没有网址,只能去点;有的读无障碍树的工具干脆不把它列出来。我们实跑里这会多走 1–5 步。
自己验证
curl -s https://lab.webforagents.dev/ | grep -Eo '<a[^>]*href="(#|javascript:)[^"]*"|onclick="[^"]*location[^"]*"' | headB6表单认得出
卡住读无障碍树截图型
我们发现
- 6 个页面上的表单都认得出。
为什么重要
注册、联系、预约这类操作,Agent 要先认出表单里每个输入框是什么、提交按钮在哪。我们不填也不提交,只看它认不认得出。
自己验证
打开操作类任务的入口页(如注册页),用浏览器开发者工具的「无障碍」面板查看每个输入框是否有名称。B3没被挡住
卡住截图型读无障碍树
我们发现
- https://lab.webforagents.dev/:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
- https://lab.webforagents.dev/pricing:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
- https://lab.webforagents.dev/signup:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
- https://lab.webforagents.dev/docs:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
- https://lab.webforagents.dev/contact:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
- https://lab.webforagents.dev/demo?date=date&time=time&tz=UTC&seats=1:一个弹层(#promo)挡住了 99% 的屏幕,不过有带标签的关闭控件。
为什么重要
截图型 Agent 看不到被遮挡层盖住的内容;读无障碍树的 Agent 读得到后面的元素,但点不了。Gemini 和微软的文档都写明,意外弹窗会让 Agent 出错。
怎么修
横幅做小一点,或者给它加上带标签的关闭或接受按钮;给后加载的内容预留位置。 Cookie 同意横幅:可以让 Agent 把同意选项作为参数带进来(例如支持 Global Privacy Control 的 Sec-GPC 请求头,或在 Agent 快速通道说明里写明怎么带),带了就不再弹框。
自己验证
npx lighthouse https://lab.webforagents.dev/ --only-audits=cumulative-layout-shiftB11内容在页面自己的接口里
卡住读无障碍树读 DOM
我们发现
- 内容和控件都在页面自己的 HTML 里。
为什么重要
画在 canvas 上的文字和控件、嵌在别家网站页面里的表单,都不在页面的无障碍树里。Claude 浏览器工具的文档写明,这两种情况拿不到元素,只能退回截图;只读无障碍树的 Agent 什么都拿不到。
这项不通过的话,这部分得分最高只能到 69(D 级)。
自己验证
用浏览器的无障碍面板打开 https://lab.webforagents.dev/,看内容在不在树里。B12状态说清楚
卡住读无障碍树
我们发现
- 菜单和控件都写明了是否展开、选中、勾选。
为什么重要
读无障碍树的 Agent 靠状态判断菜单开没开、标签页选没选中、勾没勾上。没有状态,它就会重复点或者点错。
自己验证
npx @axe-core/cli https://lab.webforagents.dev/ --rules aria-required-attrB13没有原生 JS 对话框
卡住读无障碍树截图型
我们发现
- 没有页面在加载时弹出原生对话框。
为什么重要
alert、confirm、prompt 这类对话框会让页面停住,直到有人回应。Claude in Chrome 的文档写明它会被挡住、要人手动关掉,亚马逊的 Nova Act 也处理不了。
自己验证
打开控制台访问 https://lab.webforagents.dev/,看加载时有没有弹出对话框。B14页面稳定
卡住截图型读无障碍树
我们发现
- 页面布局稳定(最大布局偏移 0.098)。
为什么重要
截图型 Agent 按位置点,页面一跳就点偏;读无障碍树的 Agent 拿到的元素引用会失效。Chrome 的 Lighthouse 把布局稳定列进了 Agent 浏览检查。
自己验证
npx lighthouse https://lab.webforagents.dev/ --only-audits=cumulative-layout-shiftB15不开新标签页
卡住截图型读无障碍树读 DOM
我们发现
- 站内链接都在原标签页打开。
为什么重要
开新标签页的链接,每一类 Agent 都要先找到、再切过去。我们实跑里 Codex 每次都多走 1 步。
自己验证
curl -s https://lab.webforagents.dev/ | grep -o 'target="_blank"' | wc -lB16单页不过长
卡住读无障碍树
我们发现
- 每一页都能一次读全(最大的快照 2,685 Token)。
为什么重要
Agent 一次工具调用读进整页快照,有的会截断:Codex 1 万 Token,Claude Code 2.5 万(我们的计数约 2.1 万)。Claude in Chrome 默认读 5 万字符,但它可以自己要更多,所以不计入。
自己验证
打开 https://lab.webforagents.dev/,看它的无障碍快照有多长。B17悬停才出现的内容
卡住截图型读无障碍树
我们发现
- 没有藏起来的导航菜单。
为什么重要
截图型 Agent 要先悬停才看得到菜单;用 CSS 藏起来的菜单也不在无障碍树里。用按钮打开的菜单,每一类 Agent 都找得到、打得开。
怎么修
菜单用带 aria-expanded 的 <button> 打开,点击也能用;重要的链接保持可见。
自己验证
看 https://lab.webforagents.dev/ 的导航菜单能不能用点击或键盘打开。B7点得准
卡住截图型
我们发现
- 文字对比度(只展示、不计分):384 处文字里 97% 达标。
为什么重要
截图型 Agent 按位置点,目标太小或挤在一起就会点偏;Claude computer use 的文档写明小字和小图标要放大才看得清。文字对比度只展示、不计分。
自己验证
在 Chrome 开发者工具里跑 Lighthouse 无障碍审计,看「点击目标」和「对比度」两项。B18地址能直达
卡住读 DOM截图型读无障碍树
我们发现
- 没有「加载更多」按钮。
为什么重要
Agent 靠网址在页面之间走,Gemini 和 OpenAI 的 Agent 都能直接输入网址。只靠「加载更多」按钮加载的内容,没有网址可以回去。
怎么修
「加载更多」和无限滚动之外加上分页链接(或 rel="next"),标签页和筛选也给自己的网址。
自己验证
看 https://lab.webforagents.dev/ 后面的内容能不能通过分页链接到达。B19同名链接去同一个地方
卡住读无障碍树
我们发现
- 链接名字都不撞车:同一个名字只去一个地方。
为什么重要
读无障碍树的 Agent 看到的是一串链接名字。好几个「了解更多」去不同地方,它分不清该点哪个,容易点错。
自己验证
看 https://lab.webforagents.dev/ 上有没有同样名字的链接指向不同网址。B20显示的字和名字一致
卡住截图型读无障碍树
我们发现
- 控件上显示的字都包含在它的名字里。
为什么重要
很多 Agent 先看截图找到按钮,再去无障碍树里按名字找它。按钮上写「立即购买」,名字却是别的,两边就对不上号。
自己验证
检查 https://lab.webforagents.dev/ 上带 aria-label 的按钮和链接,名字里有没有它显示的字。B5页面结构
卡住读无障碍树
我们发现
- https://lab.webforagents.dev/pricing:没通过 heading-order。
为什么重要
读无障碍树的 Agent 靠区块和标题找到正文,靠表头读懂表格。
怎么修
用一个 <main>、一个 <h1>,标题层级按顺序,<title> 写清楚,表格表头用 <th>。
自己验证
npx @axe-core/cli https://lab.webforagents.dev/ --rules bypass,landmark-one-main,page-has-heading-one,document-title,heading-order,th-has-data-cellsB8人机验证
我们发现
- 2 个操作类入口页上都没有看到验证码。
为什么重要
浏览器型 Agent 遇到验证码通常会停下或交还给用户。验证码是网站的正常防护,这一项只展示、不扣分。
怎么修
不需要修改。若希望 Agent 能完成流程,可以考虑只在可疑流量时才出验证码。
自己验证
打开操作类任务的入口页,看页面上是否有 reCAPTCHA、hCaptcha 或 Turnstile 组件。B9加载速度
我们发现
- 下面是我们在自己服务器上打开页面测的耗时。渲染时不加载图片、媒体和字体,网络位置也和真实 Agent 不同,数字只作参考、不计分。
- 首页(https://lab.webforagents.dev/):DOMContentLoaded 698 毫秒,load 事件 700 毫秒,等到网络安静 870 毫秒。
- 定价页(https://lab.webforagents.dev/pricing):DOMContentLoaded 697 毫秒,load 事件 699 毫秒,等到网络安静 700 毫秒。
- 注册页(https://lab.webforagents.dev/signup):DOMContentLoaded 688 毫秒,load 事件 691 毫秒,等到网络安静 701 毫秒。
- 文档页(https://lab.webforagents.dev/docs):DOMContentLoaded 691 毫秒,load 事件 692 毫秒,等到网络安静 694 毫秒。
- 联系页(https://lab.webforagents.dev/contact):DOMContentLoaded 716 毫秒,load 事件 718 毫秒,等到网络安静 720 毫秒。
- 网站主声明的页面(https://lab.webforagents.dev/demo?date=date&time=time&tz=UTC&seats=1):DOMContentLoaded 693 毫秒,load 事件 697 毫秒,等到网络安静 701 毫秒。
为什么重要
浏览器型 Agent 每打开一个页面都要等它加载完才能读、才能点。页面越慢,Agent 花的时间越多,超过工具的等待上限还会直接失败。这一项先只展示、不计分。
怎么修
减少首屏要等的脚本和请求:推迟非必要的第三方脚本,压缩和缓存静态资源,让主要内容先出来。
自己验证
在 Chrome 开发者工具的「性能」或 Lighthouse 里打开 https://lab.webforagents.dev/,看页面加载要多久。
抓取型 Agent83
按各家抓取型 Agent 的公开文档、源码和实测查原始 HTML:不靠 JavaScript 有没有内容、搜索爬虫放没放行、关键信息在不在正文里、页面会不会太大。我们只读取,不运行脚本。
F1能访问
我们发现
- 首页和我们抓取的关键页都返回 200 和 HTML。
为什么重要
被拦截或要求验证时,抓取型 Agent 什么都拿不到。在实测中,这一项对 Agent 能否成功的影响最大。
自己验证
curl -sI -A 'Claude-User' https://lab.webforagents.dev/证据
- 200https://lab.webforagents.dev/首页 HTML
- 200https://lab.webforagents.dev/pricing定价页 HTML
- 200https://lab.webforagents.dev/docs关键页
F2不靠 JavaScript 也有内容
卡住现抓整页分段读
我们发现
- 浏览器里显示的文字有 100% 已经在原始 HTML 里。
为什么重要
Claude Code、Codex、Gemini CLI 的抓取工具,以及主流助手的抓取器,都不运行 JavaScript。
这项不通过的话,这部分得分最高只能到 69(D 级)。
自己验证
curl -s https://lab.webforagents.dev/ | sed -e 's/<[^>]*>//g' | wc -w证据
- 200https://lab.webforagents.dev/首页 HTML
- 200https://lab.webforagents.dev/pricing定价页 HTML
F4抓取型 Agent 的阅读成本
卡住现抓整页分段读读索引
我们发现
- {url}:没有超过任何截断上限(约 {tokens} Token,只展示)。
为什么重要
Agent 读的每个 Token 都要花用户的钱和时间。抓取型 Agent 会把你的 HTML 转成 Markdown 并全部读完;HTML 超过 1 MiB 或超过 100,000 个字符的页面还会被工具截断。
自己验证
curl -s https://lab.webforagents.dev/ | wc -c证据
- 200https://lab.webforagents.dev/首页 HTML
- 200https://lab.webforagents.dev/pricing定价页 HTML
- 200https://lab.webforagents.dev/docs关键页
- 200https://lab.webforagents.dev/signup注册页
- 200https://lab.webforagents.dev/contact联系页
F5提供 Markdown
我们发现
- https://lab.webforagents.dev/ 没有 Markdown 版本:请求 text/markdown 返回的是 HTML,也没有声明替代版本。
- https://lab.webforagents.dev/pricing 没有 Markdown 版本:请求 text/markdown 返回的是 HTML,也没有声明替代版本。
为什么重要
Markdown 能减少 Agent 读一个页面花的 Token。Claude Code、Cursor 和 OpenCode 都会请求它。
怎么修
请求的 Accept 头优先要 text/markdown 时返回 Markdown,并发送 Vary: Accept。或者用 <link rel="alternate" type="text/markdown"> 声明一个 .md 版本。
自己验证
curl -sI -H 'Accept: text/markdown, text/html, */*' https://lab.webforagents.dev/证据
- 200https://lab.webforagents.dev/首页(以 Markdown 请求)
- 200https://lab.webforagents.dev/pricing定价页(以 Markdown 请求)
F7HTTP 语义
卡住现抓整页
我们发现
- 状态码、重定向和内容类型都符合 Agent 的预期。
为什么重要
Agent 依赖状态码和重定向。不存在的页面如果返回 200,看起来就像正文内容。
自己验证
curl -sI https://lab.webforagents.dev/does-not-exist证据
- 404https://lab.webforagents.dev/wfa-probe-6xgbgzdrzdtb1gl9随机不存在的页面
- 200https://lab.webforagents.dev/首页 HTML
F8robots.txt 与用户触发型 Agent
卡住Claude 网页版和 AppDuckDuckGo
我们发现
- robots.txt 允许遵守它的用户触发型 Agent 访问。
为什么重要
robots.txt 是所有主流爬虫都遵守的唯一访问标准;即使是用户要求的抓取,Claude-User 也会遵守它。
自己验证
curl -s https://lab.webforagents.dev/robots.txt证据
- 200https://lab.webforagents.dev/robots.txtrobots.txt
F10允许进搜索索引
卡住读索引
我们发现
- https://lab.webforagents.dev/:被 robots.txt 拦的搜索爬虫:;页面的 robots 指令:noindex,nofollow,noarchive。
- https://lab.webforagents.dev/signup:被 robots.txt 拦的搜索爬虫:;页面的 robots 指令:noindex,nofollow,noarchive。
- https://lab.webforagents.dev/docs:被 robots.txt 拦的搜索爬虫:;页面的 robots 指令:noindex,nofollow,noarchive。
- https://lab.webforagents.dev/contact:被 robots.txt 拦的搜索爬虫:;页面的 robots 指令:noindex,nofollow,noarchive。
为什么重要
ChatGPT、Perplexity、Copilot、Google AI 概览多数时候不现抓网页,而是读自家索引。robots.txt 拦了它们的搜索爬虫,或页面写了 noindex / noarchive,这几家就读不到这个网站。拦不拦是你的选择,后果是这几家读不到。
怎么修
在 robots.txt 里放行 OAI-SearchBot、PerplexityBot、Bingbot、Googlebot、Claude-SearchBot;关键页去掉 noindex、noarchive、nosnippet、nocache。
自己验证
curl -s https://lab.webforagents.dev/robots.txt; curl -sI https://lab.webforagents.dev/ | grep -i x-robots-tag; curl -s https://lab.webforagents.dev/ | grep -io '<meta[^>]*name="\(robots\|googlebot\|bingbot\)"[^>]*>'F11关键信息不只写在 head 和结构化数据里
卡住现抓整页分段读
我们发现
- 没有页面带 JSON-LD 结构化数据,这一项不计。
为什么重要
抓取型 Agent 把页面转成文字时,会丢掉 head 和所有 script,JSON-LD 也在里面。价格、电话、地址只写在结构化数据里,Agent 就读不到。
怎么修
结构化数据照常保留,同时把价格、电话、地址、商品名写进页面的可见文字。
自己验证
curl -s https://lab.webforagents.dev/ | grep -o '<script type="application/ld+json">[^<]*' | headF12正文前的导航不过长
卡住分段读
我们发现
- 4 个页面正文前的链接都不超过 19 个。
为什么重要
分段读页面的 Agent(如 ChatGPT)一次只看几千字符,导航排在最前面,会挤掉正文。链接少于 20 个时,正文约占一次读取的 78%;60 个以上只剩约三分之一。这一项的分档来自第三方实测,等复测。
自己验证
curl -s https://lab.webforagents.dev/ | sed -n '1,/<h1\|<main/p' | grep -o '<a [^>]*href=' | wc -l
robots.txt 与 AI Agent
各个 Agent 能不能抓取你的首页和定价页。只有由用户触发、遵守 robots.txt 的 Agent 计入分数。
F8robots.txt 与用户触发型 Agent
卡住Claude 网页版和 AppDuckDuckGo
我们发现
- robots.txt 允许遵守它的用户触发型 Agent 访问。
为什么重要
robots.txt 是所有主流爬虫都遵守的唯一访问标准;即使是用户要求的抓取,Claude-User 也会遵守它。
自己验证
curl -s https://lab.webforagents.dev/robots.txt证据
- 200https://lab.webforagents.dev/robots.txtrobots.txt
| Agent | 厂商 | 首页 | 定价页 |
|---|---|---|---|
| 用户触发的 Agent | |||
Claude-User计分 | Anthropic | 允许 | 允许 |
ChatGPT-User | OpenAI | 允许 | 允许 |
Perplexity-User | Perplexity | 允许 | 允许 |
Google-Agent | 允许 | 允许 | |
Meta-ExternalFetcher | Meta | 允许 | 允许 |
Amzn-User | Amazon | 允许 | 允许 |
MistralAI-User | Mistral | 允许 | 允许 |
DuckAssistBot计分 | DuckDuckGo | 允许 | 允许 |
| 搜索爬虫 | |||
Claude-SearchBot | Anthropic | 允许 | 允许 |
OAI-SearchBot | OpenAI | 允许 | 允许 |
PerplexityBot | Perplexity | 允许 | 允许 |
Googlebot | 允许 | 允许 | |
Bingbot | Microsoft | 允许 | 允许 |
Applebot | Apple | 允许 | 允许 |
Amzn-SearchBot | Amazon | 允许 | 允许 |
Meta-WebIndexer | Meta | 允许 | 允许 |
MistralAI-Index | Mistral | 允许 | 允许 |
| 训练爬虫 | |||
ClaudeBot | Anthropic | 允许 | 允许 |
GPTBot | OpenAI | 允许 | 允许 |
Google-Extended | 允许 | 允许 | |
Applebot-Extended | Apple | 允许 | 允许 |
Meta-ExternalAgent | Meta | 允许 | 允许 |
Amazonbot | Amazon | 允许 | 允许 |
CCBot | Common Crawl | 允许 | 允许 |
Bytespider | ByteDance | 允许 | 允许 |
网站声明
网站可以为 Agent 发布的文件和元数据。仅供参考,不影响分数。
- A2A Agent 卡片没有没有 A2A Agent 卡片。
- Agent Skills 索引没有没有 Agent Skills 索引。
- agents.json没有没有 /.well-known/agents.json。
- AI 目录没有没有 AI 目录。
- API 目录(RFC 9727)没有没有 API 目录(RFC 9727)。
- Agent Resource Discovery没有没有 Agent Resource Discovery 文件。
- 内容使用偏好没有没有 Content Signals 或 AIPREF 使用偏好声明。
- JSON-LD 结构化数据没有没有 JSON-LD 结构化数据。
- llms.txt当前格式https://lab.webforagents.dev/llms.txt 格式正确,但没有页面链接到它。只展示、不计分。
- MCP 服务器卡片没有well-known 路径上没有 MCP 服务器卡片(现在的发现方式是通过 AI 目录)。
- NLWeb没有没有发现 NLWeb 提问接口(NLWeb 没有发现文件,只在网站链到它时才认得出)。
- OAuth / OpenID 元数据没有没有 OAuth 或 OpenID 授权服务器元数据。
- OAuth 受保护资源元数据(RFC 9728)没有没有 OAuth 受保护资源元数据(RFC 9728)。
- 站点地图没有没有 sitemap.xml。
- WebMCP没有没有 WebMCP 工具。