首个机器人编码智能体基准：47台机器人1156项任务，最强模型实时场景仅30%成功
burny_tech · x · 2026-11-12
多所高校联合发布 Embodied First Exam，首个面向编码智能体（coding agents）的机器人评测框架：测试 AI 能否通过写代码直接控制机器人、编写控制器或自主训练策略，而非依赖传统视觉运动策略学习。
规模：1,156 项任务、35 个套件、47 台机器人，含 9 个新套件，覆盖空间拼图、灵巧操作、多机器人交互、全身动态控制与 sim-to-sim 工程。
三种评测设置：
- Standard：只给传感器观测，默认不可重置环境，最接近真实世界
- Realtime：环境持续运行，智能体边推理边控制
- Privileged：开放完整仿真器状态与无限重置，作为成功率上界
结果：8 个受测智能体中，最强者 GPT-6 Astra 在 Privileged 设置下 456 项核心任务成功率 34%（匹配任务上全权限为 77%，现实约束下仅 30%）；实时评测中 63% 的任务无任何智能体解决。论文还对失败进行阶段标注，比较不同智能体、设置与阶段的失败模式。
所属事件:多所高校联合发布首个机器人编码智能体基准(2 条相关)→
「具身」频道最新
- AI 正渗透硬件设计:PCB 绘制与 CAD 建模成机器人新工作流 — Herodont5915 · 2026-11-12
- LeRobot 谈机器人为何必须走向真实世界的规模化 — micoolcho · 2026-11-12
- RoboCap-10k 开源发布：1 万小时第一视角机器人数据覆盖 21 行业 — micoolcho · 2026-11-12
- 苹果确认仍在投入 Vision Pro,眼镜类新品被指秘密研发中 — Scobleizer · 2026-11-12
- ContactBench 1.0 发布:可打印资产评测机器人接触式操作 — leto__jean · 2026-11-12
- AMD 展示用 Ryzen AI Max 迷你主机本地跑 MolmoAct2 机器人策略 — DJiafei · 2026-11-12