WebAnything: From the Wild Web to Scalable Agent Environments
Tianci Xie, Zikun Cai, Chaoyun Zhang, Pinxue Guo, Bingxuan Li, Rui Zheng, Hang Yan
cs.AI
2026-10-28
自动把真实网址重建为244个可重置环境,共验收12984条任务;外观盲测12胜0负,交互通过率仍低于人工镜像。
网页智能体要反复试错,环境得能设起点、改状态、重置,并给出可核对的结果。WebArena、VisualWebArena 把自托管网站做成可复现评测,站点仍要一个个搭。真实网页更杂,直接在线上跑,起点和副作用都锁不住。
WebHarbor 靠人与编码智能体做镜像,和源站对应,每站都是一次工程。WebFactory、InfiniteWeb 按规格生成站点,容易偏离指定的那一个真站。World of Bits、WARC-Bench 一类录制回放只保住当时看见的页面,交互范围受采集内容限制。
要同时对上指定真站,又让交互能换任务重复做。私有后端不可见,截图和模型先验会漏掉状态之间的关系。搭建方自检还会放过和源站不一致的缺陷。对不上时,该改代码,还是回源站补观察。
WebAnything 从真实网址重建可重置的本地环境。授权和初始配置之后,采集、实现和修订走流水线。证据只来自浏览器看得见的三类:页面结构与外观、字体图片等资源、动作前后的观察。同一网址上,收起的菜单和展开的菜单分开记。
Explorer-Builder 把这些证据做成组件、路由和共享对象。结构管布局,资源管媒体,行为管跳转、筛选和改状态。缺了观察就去补抓,不把推断写成已经看见。主实验从入口页做全覆盖。另有只扩任务依赖的即时覆盖,主结果没有用。
独立校验器在另一个上下文里检查冻结候选,重新操作后对照源站证据和站点契约,不能改代码。站点契约写明要哪些页面、流程和可核对结果。证据够就本地修复,证据不够就定向再采集,只补那一块源站,然后再冻结复查。环境带重置和任务评估,采数与评测共用同一操作框架。任务、轨迹和训练导出分开计数。
截至 2026-10-09,资源池有 244 个网站,14 个应用域、53 个细类。两批任务共 12984 条执行并验收:74 站 6172 条,229 站 6812 条。后一批完成 244×30 配额的 93.1%。前一批工具交互步数均值 10.4、中位 8,34.7% 超过 10 步。
85 站在授权之后,没有按站手工实现或修复的记录。84 站可计价模型调用合计 220.62 美元,中位 1.60 美元。这是下界,不含未标价调用和浏览器开销,也没有外推到 244 站。主力模型是 gpt-5.6-sol。59 站通过,15 站被源站阻断,6 站失败,5 站缺报告。标准不统一,没有单一成功率。
和 WebHarbor 比的是 5 站、14 个历史状态。像素相似度看像素差,SSIM 看截图结构是否接近,文本 F1 看整页可见文字重合多少。
| 指标 | WebAnything | WebHarbor |
| 像素相似度 | 0.9240 | 0.8083 |
| SSIM | 0.7904 | 0.6260 |
| 文本 F1 | 0.8541 | 0.2617 |
盲测总体保真 12 胜 2 平 0 负,信息保真 10 胜 3 平 1 负,唯一负场是 ESPN。严重度均值 0.143 对 1.429。文本 F1 的源站侧关闭了 JavaScript,镜像侧开着脚本,分差要打折看。去掉本身有渲染缺陷的 Apple、ESPN 参考后,SSIM 仍是 0.8051 对 0.6885。四个 LinkedIn 历史状态对上 VeriEnv,像素相似度 0.9574 对 0.9436,SSIM 0.8190 对 0.7637。
交互没有一起领先。上述 5 站能力覆盖 75% 对 80%,预定测试通过 19/30 对 23/30,分母保留未支持项。VeriEnv 另 5 站为 29/33 对 21/33,LinkedIn 为 6/9 对 7/9。
219 对自检通过的报告里,独立校验失败 139 对(63.47%),通过 56 对,源站阻断 24 对。有证据的差异 39 对、跨 22 站,严格同一候选只有 1 对。6 站 18 条被复查确认,问题表共 1007 条。定向再采集出现在 2 个站,没有因果数字。
监督微调用 5856 条轨迹、5167 个任务、60517 个步骤。Qwen3.5-9B 训练 473 步,批量 256,学习率 5×10^-6。较新的 6812 条没有进入这次训练。
| 基准 | 基线 | 微调后 |
| REAL(91 题) | 24.2%(22/91) | 34.1%(31/91) |
| Odysseys-Easy 条目均分 | 19.71% | 25.96% |
| 任务均分 | 18.86% | 25.18% |
| 全对(44 题) | 2/44 | 4/44 |
| WebArena-Verified 总体 | 16.41% | 29.74% |
| 导航 / 改状态 / 检索 | 22.22 / 10.51 / 20.75 | 40.71 / 42.01 / 12.00 |
REAL 上 15 题转成功、6 题转失败。102 题分母下由 21.6% 到 30.4%。检索忽略 JSON 格式后,同一输出由 39/325 增至 105/325,变的是评分。
以 661、617、663 条轨迹对比,189 题条目均分依次为 10.44、6.93、6.42,对应本环境、WebHarbor、VeriEnv,全对 1/189 对 0。绝对分仍然低。
缺的是能重置、又对得上指定真站的环境。手工站少,线上页面锁不住状态。流水线把浏览器看得见的证据同时用于构建和独立校验。85 站可计价成本中位约 1.60 美元,人工收在授权和初始配置。
外部基准有提升,主要在导航和改状态,检索在严格评分下下降。改进是渐进的,只在 9B 和固定框架上验证过。
训练停在 Qwen3.5-9B,没有更大模型、别的后训练或更多预算。镜像拍的是某一时刻的源站,没测持续改版后的维护成本。字体、图片和品牌受版权与条款约束,公开能打开不等于可以再分发。
保真主表只有 5 站 14 个历史状态。131 站没有额外审查。113 站里 9 站有呈现问题。全池截图里,Cohere 与 United Airlines 的首页是空白。盲测由三人讨论定论,没有独立一致率。当前源站抽查里,Coursera 像素相似度 0.7017,天气页 0.6373,另有 403 和登录墙。
交互覆盖低于 WebHarbor。自检通过后仍有 63.47% 被独立校验判失败,严格同候选仅 1 对。微调没有消融重建步骤。Odysseys 与训练源在 Amazon、Apple、Google、YouTube 上重叠,语义改写未查。WebArena-Verified 的框架是自建的。12984 条只计验收通过的任务,会偏向当时已经做成的题。不再按站手修只覆盖审计过的 85 站,且在授权之后。