WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi Jaakkola, Yang Zhang, Shiyu Chang
cs.AI
2026-10-01
UCSB 提出 WorldAuditBench:213 个交互式 3D 世界找 bug 任务,最强 VLM agent 成功率 42.3%,两阶段 VLA–VLM 最高 17.4%,人类 83.4%。
游戏引擎搭出的交互式 3D 世界是 embodied agent 研究的主战场,但一个世界渲染得再漂亮,也可能藏着能穿过去的墙、悬空的椅子、转身就消失的路牌。在带 bug 的环境里跑 benchmark,结论会被直接污染:靠穿墙完成导航的 agent,不该算会导航。现有评测接不上这个需求:GlitchBench、VideoGameQA-Bench 把现成视频喂给模型问有没有 glitch,测被动识别;EmbodiedBench、OpenEQA 测任务完成,不问环境本身对不对。中间缺的一块是「世界审计」,让 agent 自己走进世界、搜证据、验证猜想,此前没有系统评测。
难在两种能力必须耦合:视觉推理判断该查什么,行动去拿证据。栅栏看着是实心屏障,碰撞丢失的 bug 只有走近直行 3 米、再回头对比前后视角才能坐实。观察提出假设,动作检验假设。
WorldAuditBench 收录 213 个人工构造的单异常任务,分属 13 个环境:Unreal Engine 5 承担 126 题,Three.js 承担 87 题,覆盖室内、城市、历史、工业、自然五类共 27 个 scene。异常按可观察效果分五族十五类:
每题附场景描述、异常类型提示和一条 ICL 示例,目标物体、位置、评分 rubric 都不给。任务由未参与构造的评审在浏览器里实际探索验收,同一版本至少两人评 Pass 才收录。
评测对比两种范式。VLM-only 让一个多模态模型经 MCP 工具接口边走边想,40 步行动预算,配记忆工具(回看历史帧、记笔记)和报告工具(先记 suspect,补证据后改 confirmed)。VLA–VLM 让 Open-P2P 1.2B 先盲走 60 秒录下轨迹,VLM 再对固定视频离线分析,形式上接近常规 video QA。两边报告统一交给 GPT-6 Astra 按 rubric 判分,judge 与人工一致率 91.7%。
| 审计者 | 总体成功率 | 成本($/题) |
| 人类(10 分钟/题) | 83.4% | — |
| GPT-6 Astra(VLM) | 42.3% | 2.955 |
| Gemini 3.8 Flash(VLM) | 32.4% | 1.382 |
| Claude Opus 5(VLM) | 28.2% | 2.445 |
| Gemini 3.8 Flash(VLA–VLM) | 17.4% | 0.296 |
| Qwen 3.8 Flash(VLM) | 8.5% | 0.077 |
对跑 embodied benchmark 的实验室,这是环境质检的自动化测试床:环境 bug 污染下游所有数字,这个 bench 把「查环境」本身做成了可量化任务。对做 agent 的人,两个设计结论有数字撑着:让推理在线引导探索,好过先录轨迹再离线分析;可回看的证据记忆对跨视角、跨时间异常是刚需。游戏 QA 自动化是最直接的应用,rubric 加 VLM judge 的评测协议可以整体搬走。也要交代清楚:这是 benchmark 论文,没有提出新方法,数字全部来自现成模型加工具封装。
论文自己交代两种范式预算不对等(40 步对 60 秒);VLA 探索只测了 Open-P2P 1.2B 一个 1.2B 级模型,推不出 VLA 路线的上限。时序一致性上所有模型近乎失败,该族任务人类基线也有 78.1%,差距真实存在。读下来还有几点要留神:213 题每题一个异常,规模和多样性有限;judge 是单个模型,κ=0.645 属中等一致;每个分数评的其实是「模型+CLI harness」组合,harness 质量掺在分数里;人类基线是约 10 名 CS 博士生、每题 10 分钟,与 40 步预算并不严格可比。