8 校联合发布 EFE:1156 任务统考编程智能体操控机器人
机器之心 · wechat · 2026-11-22
西北大学、卡内基梅隆大学等 8 所高校团队发布 EmbodiedFirstExam(EFE),用统一框架评测编程智能体控制仿真机器人的能力,论文与代码均已公开。
设计原则与规模
- 只规定结果不规定做法:智能体可直接操控、编写控制程序或训练策略
- 共 1156 个任务、35 个任务集、47 款机器人,覆盖精细操作、动态时机、安全判断等能力
- 每个任务最多三种模式(特权/标准/实时),逐级收紧感知、重置与等待条件
核心发现
- 456 个高难度核心任务上,标准模式最强 ClaudeFable5.2 解出一半,最弱不到 7%;标准模式下 22 个任务集中 7 个至少一半测试无人解出
- 精细阶段受条件收紧影响远大于粗略阶段:组装失败率从 25% 升至 76%,放置从 18% 升至 31%
- 对照实验显示,对精细阶段而言「能反复重试」比「看得准」更重要:补上不限次重置将成功率从 19% 提到 36%,补精确状态几乎无提升
- 控制方式随资源变化:标准模式 63% 直接控制,实时模式 97% 编写闭环程序;提供 GPU 时足球任务 25/28 训练了策略
- 框架影响可观:GPT-6Astra 在 Codex 中解出 34%,在 ClaudeCode 中仅 27%
失败归因
为 427 个任务编写任务图,把失败定位到具体阶段;约四分之一测试中八成以上失败集中在同一阶段。连续接球任务中十个智能体全部失败,ClaudeOpus5.5 估算接球窗口仅 1.3-1.6 秒而摆正杯子需约 1.4 秒。
局限:每项只考一次,标注者 GPT-6.1Sol 本身也是受测智能体且与部分模型同系列。
「具身」频道最新
- 机器人老兵论战:泛化模型才是解决最后 6% 问题的钥匙 — BradPorter_ · 2026-11-22
- DeepMind 联合 YC 办全球首届机器人使用代理黑客松 — DynamicWebPaige · 2026-11-22
- 开发者用三个 AI 模型分别规划机器人项目,再取各家所长合并 — doodlestein · 2026-11-22
- Tesla FSD 训练渲染资产错误问题据称已被解决 — yunta_tsai · 2026-11-22
- 特斯拉 FSD 摄像头暗光表现超预期,开发者称信号量惊人 — yunta_tsai · 2026-11-22
- 机器人格斗选手赛后获观众亲吻索签名,主办方称这才是真体育 — cixliv · 2026-11-22