8校联合发布具身第一考:1156任务测编程智能体,最强只解一半
新智元 · wechat · 2026-11-19
西北大学、CMU 等 8 所高校提出 EmbodiedFirstExam(EFE),把编程智能体接入仿真机器人做统一评测:1156 个任务、2288 项测试、47 种机器人、23 个仿真器,代码与数据开源。
核心结果
- 456 项标准模式核心测试上,最强的 ClaudeFable5.2(ClaudeCode)仅解出 50%,GPT-6Astra 34%,Kimi3.1Pro 10%;169 项无任何智能体解出,且没有通吃赢家——其他四个强智能体合计解出了 60 项第一名没解出的题。
- 三种模式逐级收紧:特权模式(读完整仿真状态+不限次重置)80% → 标准模式(仅传感器)47%,真实机器人条件下降幅显著;实时模式近半测试无人解出。
- 真机演示:两个智能体控制真实机械臂玩穿环过线,GPT-6Astra 后 4 次平均进度约 94% 并两次走完全程。
系统分析发现
- 对照实验显示补上「不限次重置」(53%)比补上精确状态(45%)更能缩小差距——「看得准,不等于做得准」;精细对准类失败尤其依赖重置。
- 失败高度集中:不同智能体常败在同一阶段(55% vs 随机 30%);材料类阶段一旦到达失败率 56%,身体类 39%,机构类 17%。
- 足球任务中,提供 GPU+RL 库时 28 次尝试有 25 次主动训练策略,胜局全部来自训练出的策略;只有 CPU 时多手写步态,基本落败。
局限:每项测试仅运行一次、部分标注由受测模型完成、结果多来自仿真。团队计划多次重复运行并扩展真机评测。
「具身」频道最新
- 科技法学者晒紫色金属机器狗:来自未来的问候 — technollama · 2026-11-19
- 声音机器人无创摧毁肿瘤:2000+患者已用组织碎切术治疗 — TinfoilTricorn · 2026-11-19
- 机器人团队晒马特洪峰山地测试幕后照:大量镜头靠团队协作 — ki_ki_ki1 · 2026-11-19
- 用户耳疾次日,AI 硬件 Dot 主动发来随访提醒 — HannsGruber · 2026-11-19
- 自训 RL 智能体像素级通关 Elden Ring 首个 Boss Margit — Sl33py_4est · 2026-11-19
- 脑机接口×机器人研究登上日本电视节目《ガリレオX》 — kaixhin · 2026-11-19