Embodied First Exam:1090 个具身任务考倒编码 agent,最强仅解 32.9%
LINJIEFUN · x · 2026-11-09
Northwestern、CMU、Stanford、UC Berkeley 等多校联合(Li Fei-Fei、Dawn Song、Pieter Abbeel、Yuke Zhu 等参与)推出 Embodied First Exam,CoRL Late Breaking Results 发布:一行命令即可让编码 agent 在 31 个仿真套件、44 种机器人、1090 个具身任务上接受考验,远超传统 pick-and-place,涵盖空间约束解谜、多机器人协同运动、实时不停摆评测、全身敏捷控制与 sim2sim 自动研究。
基准提供三种模式:Privileged(可随时重置全状态)、Standard(仅机器人 API,现场实跑评分)、Realtime(世界永不暂停)。控制方式支持直接指令、写代码控制、训练 policy 网络及混合模式。
结果惨烈:456 个核心任务中,最强的 GPT-6 Astra 也只解决了 32.9%,Claude Opus 5.5 为 23.5%,多数 agent 在 Realtime 模式下得分趋近于零——编码 agent 进入物理世界的第一次考试,几乎没有及格者。
所属事件:多校联合发布具身智能基准,最强 agent 仅过三成(2 条相关)→
「编程与Agent」频道最新
- 27 粉一人网站单日入账 4800 美元,用 Claude Code 挖出的真实小生意 — FinanceYF5 · 2026-11-09
- 「churn 时代」:不爽就自己用 Claude 造替代品 — joshgonsalves_ · 2026-11-09
- 折腾两周后跑通 AI 生成地图立交管线,错误标记自动浮出 — tomjohndesign · 2026-11-09
- 设计师用 AI 实现狂想,但底层功底反而更重要了 — nptacek · 2026-11-09
- Gemini CLI 修复无头模式中断缺陷:子进程残留与错误退出码 — duvanka-prasad · 2026-11-09
- T3 Code 开源:一个控制面统一编排 Claude Code、Codex、Cursor 等 — vista8 · 2026-11-09