MBZUAI 提出 SimAudit:机器人仿真基准审计出 61 处判定缺陷
MBZUAI · hf · 2026-11-20
MBZUAI 与北大团队发布 SimAudit,一个基于 LLM 的流水线,用于审计仿真操作基准中手写的成功判定器(success checkers)。
- 问题:学到的策略可能只完成部分任务或换一种方式完成任务,判定器可能误判——把不完整执行判成成功(phantom success),或把满足指令的执行判成失败(silent failure)。
- 方法:SimAudit 分析任务指令与判定器代码找出可能不一致的场景,在仿真中复现这些场景并运行原判定器,再用多视角渲染做视觉验证。
- 结果:在 RoboTwin 2.0、RoboCasa365、RoboDojo 三个基准上,183 个仿真测试用例产出了预测的判定结论;经视觉验证与去重后在 49 个任务中发现 61 个独特缺陷,其中 40 个 phantom success、21 个 silent failure。RoboCasa365 的缺陷多为接受不完整执行,RoboDojo 多为拒绝有效执行。
- 结论:仅靠专家演示通过来验证判定器是不够的。
「具身」频道最新
- 机器人研究者谈 supermimic 难点:碰撞几何缺低维表示 — KyleMorgenstein · 2026-11-21
- 3DGS 对比点云渲染效果出色,下一步做碰撞表面重建 — jonstephens85 · 2026-11-21
- Haozhi Qi 讲座:仿真+人类数据+触觉传感练就灵巧手 — YuXiang_IRVL · 2026-11-21
- 马斯克畅谈 Optimus:从矿业重工业进厂,到家庭保姆与家教 — XFreeze · 2026-11-21
- ChinaTalk 探营 CoRL:机器人还是不行,硬件却全是中国造 — ChinaTalk · 2026-11-21
- Zmotor 人形机器人线性执行器拆解:多数产品供人形厂商,出厂前做动平衡与磁通测试 — MarwaEldiwiny · 2026-11-20