机器人 benchmark 判分器审出 61 处缺陷,最高 9.1% 回合改判

Phantom Success, Silent Failure: Auditing the Success Checkers of Simulated Manipulation Benchmarks

Zirui Song, Jiadong Zhang, Zheng Lu, Xiaosong Ma, Xiaojun Chang, Xiuying Chen

cs.CV, cs.RO

2026-11-19

LLM 流水线审计三大机器人 benchmark 的成功判定器,确认 61 处缺陷;修复后重打分,最高 9.1% 回合改判。

这篇在解决什么

RoboTwin 2.0、RoboCasa365、RoboDojo 是给 VLA(视觉语言动作模型)和 world action model 排名的主战场,每个 episode 由一段手写的 success checker(成功判定器)读模拟器状态打成功或失败,排行榜上的成功率就是这些判定加总的。判定器靠脚本专家验证,专家能通过的种子才保留,这只说明判定器接受「这一种」完成方式。学出来的策略会半途停下,或换条路线完成任务,落进专家没到过的状态,判定器在那里可能给没做完的执行记成功(phantom success,幻影成功),也可能把满足指令的执行判成失败(silent failure,静默失败)。开篇例子:夹爪把瓶子抬离桌面 3 厘米、没摇,报成功;双臂各拿一个瓶子照指令做,因瓶子不在桌子中心报失败。

之前的审计查过任务设计、捷径、物理引擎 bug,但都拿 benchmark 自带判定器去量影响,默认判定器本身可靠。这篇直接测这个假设。

方法

SimAudit 是条 LLM 流水线,四步:

修复版叫 Verified checker,按判定出错的三处下刀:直接测物理状态(夹爪对物体是否还有力,而非张爪指令发了没);条件对齐指令(缺的补、多的删);成功需持续一秒才生效,防止物体正在倒时被判过。修复要过两道验证:1,233 条专家轨迹全部仍然通过,61 个缺陷的渲染状态当回归测试。

结果

142 个任务共提出 568 个候选状态,183 个判定器输出与预测一致,视觉复核砍掉约三分之二,剩 61 个缺陷、49 个任务。

benchmark缺陷幻影成功静默失败主要成因
RoboTwin 2.0312011proxy signal(15 处)
RoboCasa36518171loose geometry(8)、missing condition(7)
RoboDojo1239unstated requirement(9)

三个榜的病各不相同。RoboTwin 2.0 的判定器读下发的夹爪指令而不读手指实况,物体还攥在手里、指令一发就记成功;RoboCasa365 整体虚高,吸管横搭杯沿也算放进杯子;RoboDojo 方向反过来,数字 8 转了半圈就被拒,指令和画面都没这要求。「模拟成功率虚高」对 RoboCasa365 成立,对 RoboTwin 2.0 部分成立,对 RoboDojo 正好相反。

精度有交叉验证:两名独立标注者看渲染帧,61 个缺陷全部确认;被拒候选随机抽 50 个复查,没有漏掉的真缺陷。

再用 Verified checker 给已发布策略的同一批回放重打分:

策略原成功率修复后改判回合
π0.5 @ RoboTwin 2.046.2%42.3%5.6%
GR00T N1.5(30% 数据)@ RoboCasa36537.7%33.8%5.4%
VPP @ RoboDojo30.0%39.1%9.1%

三个榜名次都没变,差距在动:RoboDojo 上 VPP 追到只差 Rex-M1 约 1 个点,GR00T N1.5 两个数据量版本的差距拉大。按任务看更重。click bell 上 π0.5 一条成功都保不住,夹爪停在铃铛上方没碰到;同一任务 X-VLA 从 95% 掉到 20%,LingBot-VA 完全不受影响。move stapler pad 上 Evo-1 原本零分,修复后大多数回放算成功,卡它的是指令里没写的 5 度偏航角。跨任务平均的排行榜把这些全抹平了。

为什么重要

在这三个榜上比策略的人拿到一张带方向的刻度误差表:RoboCasa365 有虚高成分,RoboDojo 可能低估策略,两边误差方向还相反,跨榜比数字之前得先想这件事。SimAudit、修复后的判定器和渲染反例都已放出,复检可以直接做。流程本身更可迁移:LLM 读代码提反例、原环境构造状态、独立 VLM 只看画面复核,对任何程序打分的 benchmark 都适用,和 SWE-bench 生态的 UTBoost 是一路做法,自建 benchmark 的人可以拿它当验收工具。

分量也要说清,三个榜名次一个没换。这篇修的是刻度,不是名次。

局限与存疑

论文没有召回率:568 个候选被砍掉三分之二,还有多少真缺陷没被提出来无从判断,且判定依赖渲染画面,运动质量、力控这类从图上看不出的缺陷天然在盲区。重打分协议有个不对称,原始判定器在首次成功就结束 episode,重打分时执行继续跑,部分静默失败的翻案可能混进「多给了时间」的成分。Verified checker 也是修出来的,持续一秒是人为选的规则,验证只到专家回放加 61 个反例回归,没有再过同级审计。覆盖面只有三个 benchmark,早先手工审计点名的 VLABench 不在内。

术语

原文与代码

相关论文

全部论文解读