Embodied First Exam
Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang, Chi Gui, Feishi Wang, Canyu Chen, Wenli Xiao, Xiaoyu Huang, Tonghe Zhang, Linjie Li, Zihan Wang, Minyeong Kim, Yiyou Sun, Mingkai Deng, Jinyu Hou, Qi Zhu, Han Liu, Eric P. Xing, Huaxiu Yao, Zhiwen Fan, Yuejiang Liu, Dawn Song, Pieter Abbeel, Li Fei-Fei, Jiajun Wu, Yuke Zhu, Guanya Shi, Ruohan Zhang, Manling Li
cs.RO, cs.AI
2026-11-09
新基准让 coding agent 直接开 47 台机器人,标准条件最强模型只过 34%,拿模拟器特权则到 77%。
Codex、Claude Code 这类 coding agent 已经能在真实仓库里修 issue,近期又出现了让它们直接开机器人、写机器人程序、在仿真里训策略的尝试。这条路缺一份系统体检:机器人 benchmark 为 visuomotor policy 学习设计,接口固定;coding agent 的 benchmark(SWE-bench、Terminal-Bench)没有物理约束。coding agent 能开好哪些机器人、离开模拟器特权剩几成功力、栽在哪一步,此前没有统一测量。西北大学等八家机构合作的 Embodied First Exam(下称 EFE)补上这个空:1,156 项任务、35 个套件、47 台机器人、九种形态,从单臂、灵巧手到人形、四足、无人机,八个主流 agent 全部考了一遍。
EFE 宽进严出:不限制 agent 怎么干活,只固定起点、资源和判分。控制方式自选:direct control(模型逐段发动作)、code to control(写控制器或规划器)、train a policy(仿真里训策略再部署),混用也可以。基建复用 Terminal-Bench 的 Harbor,一条命令跑任意模型加 harness 的组合;判分器在 agent 摸不到的独立容器里,成功规则代码不可见,防 reward hacking。
任务侧新建 9 个套件 411 项,专补现有 benchmark 的空白:解绳结、装宜家家具(RoboARC),灵巧手翻书开罐(DexHandExam),接住和击打移动物体(RoboDynamicExam),人形机器人做体育动作、打整场对抗赛(Embodied Olympics),只给一张目标图片(iSpatialGym),混入该拒绝的危险请求(Embodied Safety Exam),把标称模拟器上调好的控制器部署到隐藏动力学(RoboEngineer)。另外 26 个套件 745 项改编自现有 benchmark,专家策略和示教数据全部删掉,防抄答案。
核心设计是同一任务最多跑三种设定,场景、成功规则、时限完全一致,结果成对可比。Standard 贴真机:agent 只能看机器人自己的传感器(关节状态、RGB-D),默认不能重置,思考时仿真暂停;Realtime 世界不停,agent 推理时机器人照常动;Privileged 拿模拟器全状态加无限重置,可以暴力试错,成功率当近似上界。资源卡死:单次尝试 30 分钟到 4 小时(中位数 1 小时),算力有上限。主报告用筛出的 456 道难题(901 个 test)。失败分析把 427 项任务拆成 stage(如「开冰箱→番茄进冰箱→关冰箱」),由独立标注 agent 定位每次失败卡在哪一步。
| 智能体 | Standard(456 题) | Privileged(391 题) | Realtime(54 题) |
| GPT-6 Astra(Codex) | 33.6% | 77.5% | 31.5% |
| Claude Opus 5.5(Claude Code) | 25.0% | 59.3% | 7.4% |
| Gemini 4 Argon(Antigravity CLI) | 24.1% | 42.7% | 9.3% |
| Kimi 3.1 Pro(Claude Code) | 10.1% | 37.6% | 7.4% |
| GLM 5.3 Flash(Claude Code) | 2.4% | 9.7% | 0% |
梯度陡:前三名是其余五家的两倍以上,合计也只解掉 48% 的 Standard 测试;但解题集互补,另外两家合计解出 64 道 GPT-6 Astra 解不出的题。Realtime 最难,63% 的题无人解出,同批 54 题的 Standard 版这一比例是 50%。
Privileged 到 Standard 的掉分拆得干净。GPT-6 Astra 在 391 道成对题上从 Privileged 的 77% 掉到 Standard 接口的 28%;加回精确物体状态涨到 45%,加无限重置涨到 53%,都加是 68%。重置比状态访问值钱。按 stage 类型看,精密阶段(紧配合、目标位姿、接触移动物体)的失败率上涨 24 到 46 个百分点,粗粒度阶段只涨 1 到 20;装配类从 34% 涨到 80%。在精密阶段,重置能从 91 个失败里多救回约 16 个,精确状态只多救回约 2 个。
失败位置高度集中。前三名 agent 在同一题上的失败有 56% 落在同一个 stage(随机基线 31%),且通常就是任务第一步(65%)。到达之后,改变材料的阶段(擦拭一类)66% 失败,移动身体的阶段(行走一类)45%,开合机构类只有 20%。弱模型死得更早:五个较弱 agent 在接触类阶段有 9.1% 到 18.5% 还没碰到物体就失败,前三名是 2.7% 到 3.7%。
控制方式随设定切换:Standard 下 61% 的采样尝试直接发动作,Privileged 下 82%、Realtime 下 97% 写程序。足球赛是组最干净的对照:给了 GPU 和 RL 库,12 次 Standard 尝试里 10 次现场用强化学习训策略,赢球的全部是训出来的;GPT-6 Astra 带 GPU 10 比 8 赢,只有 CPU、手写步态时 3 比 13 输到触发 mercy rule,机器人摔倒 59 次,对手只摔 7 次。全部 1,489 次采样尝试里,选训策略的只有 6 次。
这是「coding agent 当机器人控制器」路线的第一份成体系测量,基建开箱即用:一条命令跑任意 harness,判分与 agent 隔离,轨迹数据公开在 HuggingFace。三个结论可以直接带走:特权与部署条件的差距超过 40 个百分点,有特权的结果不能外推部署表现;对精密操作,试错重置比精确状态感知更重要,真机接口值得优先保住重置能力;同一模型换 harness 成绩差 12 个百分点(GPT-6 Astra 在 Codex 34%、在 Claude Code 22%),评测和选型都得把 harness 当变量。Standard 的接口刻意贴真机设计,论文已经用实体机械臂演示了 buzz wire 游戏,真机系统评测是明确的下一步。
论文自认三条硬伤:每个 test 只跑一次,没有置信区间,agent 之间的差异可能部分来自单次波动;stage 和控制方式标注由 LLM 完成,主标注者 GPT-6.1 Sol 与 GPT-6 Astra 同家族,有偏袒风险;全部在仿真里。核心集由 GPT-6 Luna 筛出,同样同家族,核心集可能偏向该家族解不出的题。此外 Realtime 只有 54 题,只覆盖动态任务;跨厂商 harness 走 adapter,Antigravity CLI 会被 Gemini 的内容过滤器掐断会话,可能低估了它;分类别的失败率混杂了套件和机器人分布,读不成因果。还有个解读陷阱:34% 是筛选后 456 道难题上的成绩,与其它 benchmark 的绝对数字不可比。