Embodied First Exam:456个机器人任务上最强agent仅解出32.9%
ManlingLi_ · x · 2026-11-09
Northwestern、CMU、Stanford、UC Berkeley 等多校团队(顾问含李飞飞、Pieter Abbeel、Dawn Song、Eric Xing 等)在 CoRL Late-Breaking Results 发布 Embodied First Exam,首个面向机器人任务的编码 agent 综合评测框架。
规模与结构
- 1,156 个任务、2,288 个测试、35 个任务套件、47 台机器人,任务从双臂投篮、灵巧手到移动操作、四足、人形、肌骨模型等
- 三种模式:Privileged(模拟器全状态、冻结起点重放)、Standard(仅机器人 API,按实际运行评分)、Realtime(机器人永不停止、实时时钟)
- 四种控制方式:直接控制、代码控制、训练 policy、混合模式;verifier 离线运行,pass or fail
结果:最强的 GPT-6 Astra 也只解决 32.9% 的核心任务(456 个核心任务各一次尝试),Claude Opus 5.5 为 23.5%,Gemini 4 Argon 19.5%,DeepSeek V4.1 Flash 仅 2.6%——代码 agent 在数字世界通过大量考试,但进入物理世界的「第一次考试」成绩惨淡,榜单大部分任务仍未被解决。
「具身」频道最新
- Sergey Levine 团队 AsyncVLA：延迟 6 秒下导航成功率仍高出 40% — svlevine · 2026-11-09
- NVIDIA AI Day 首尔开幕：2000+开发者共探物理 AI 与智能体 — NVIDIAAI · 2026-11-09
- 人形机器人不发热能连续站立工作多久?从业者发起提问 — yongqianme · 2026-11-09
- 亚马逊组建个人机器人部门,整合 Fauna 人形机器人团队 — CyberRobooo · 2026-11-09
- 首个 3D 可泛化手持触觉成像系统亮相,纯触摸看穿软物内部结构 — AvivTamar1 · 2026-11-09
- Georgia Tech STAR 实验室携 5 项机器人研究亮相 CoRL 2026 并招募博士生 — fdellaert · 2026-11-09