Embodied Playground: A Long-Horizon Agentic Robotics Benchmark for Physical, Strategic, and Spatial Reasoning
Feng Chen, Pei Zhou, Lixuan He, Yunchao Yao, Li Sun, Shenghua Gao, Mingyu Ding, Kaifeng Zhang, Kaichen Zhou, Yi Ma
cs.RO
2026-10-20
港大等机构发布仿真基准 Embodied Playground,用 410 个环境考查模型能否把物理、策略和空间推理撑过整段任务,EP-100 上 Opus-5.5-extra 的套件均衡 Pass@2 为 35.85%,GPT-6-Astra 为 19.94%。
现有机器人基准主要测控制策略换场景之后还稳不稳。Foundation model 接进来以后,评测变成另一件:模型要看场景、选下一步、写成能跑的控制,并根据执行结果改后面的计划。前一步放歪、打偏或用掉弹药,后一步的可行集合就变了。
这种跨阶段依赖叫 long-horizon(长程)。汉诺塔要守住合法中间状态,最短步数从 1、3、9 到 31。孔明锁同时卡几何咬合和拆装顺序。发射器再加有限弹药、命中顺序和受保护物体。说得通的计划,仍可能在接触和动力学里做失败。
Meta-World、RLBench、CALVIN、LIBERO 面向策略学习与泛化。BEHAVIOR-1K、RoboCasa 把家务拉长,仍以任务完成为中心。Embodied Playground 改评 foundation-model agent 的整段解题,并用独立检查分开看目标、规则和物理有效性。团队来自港大、Sharpa、清华和 MIT。
410 条是任务配置和本体的组合。汉诺塔 40 种盘面乘 3 种本体等于 120 条;发射器 100 条(双臂 Panda,MuJoCo);三阶魔方 60、孔明锁 60、口袋魔方 20、书架 20 在 Isaac Lab;ManiSkill 家务、几何、动力学 30 条。本体覆盖平行夹爪和灵巧手。进 EP-100 的灵巧手,多从较易的原生配置里抽。
智能体用公开 SDK 写代码并反复修改,而不是直接吐关节指令。原语为 describe、observe、step、finish。读观测不推动仿真时钟。能力四级累加。L0 给 RGB、本体感觉、标定和公开参数,代码限于标准库、NumPy、Pillow 与自写算法。L1 增加重建、逆运动学、规划、符号求解。L2 允许预训练抓取和接触模型。L3 追加仿真器只读状态,如位姿、速度、接触。权重冻结,没有参考轨迹,也没有现成控制器。
EP-100 抽出 100 条,五套件 16 类:Launch 34、Tower 21、Lock 16、Cube 12、Home 17。Launch 从瞄准走到因果链、碎玻璃和保护规则;Tower 改步数与板面物理,再换手;Home 既考书架和移动长程,也考窄缝与运动物体。各类按工作量对半,得 EP-Easy、EP-Hard 各 50,成员不随模型分数改变。EP-20 两边各 10 条。五个套件在总分里各占五分之一。
每题四个条件是受控扰动。发射器只计 loaded(第一发已上膛),刚度 22、24、26、28 N/m;其他用种子、光照系数 0.85 到 1.15,以及位姿、质量、摩擦扰动。地上捡弹不计入。
评分看整条物理轨迹。目标、规则、释放和稳定必须在预算内同时成立。汉诺塔稳定 1 秒,锁的装配 2 秒、拆卸 1 秒,书架规则连续 0.5 秒。finish 不追加时间。Pass@1 看首次有效尝试,Pass@2 看前两次。基建故障不占名额,失败和墙钟超时占。发射器墙钟上限 10 分钟,汉诺塔 1 小时,三阶魔方 19,800 秒、最多 109,800 次动作。
受测模型是 GPT-6-Astra(Codex,high reasoning,L3 特权观测)和 Opus-5.5-extra(extra reasoning)。两者都只写代码,不发辅助工具、参考解和预训练控制器。每条尝试最多 3000 万 token(含缓存输入)和 100 张图像。400 个条件都有结局。
| 子集 | 模型 | Pass@1 | Pass@2 |
| EP-100 | GPT-6-Astra | 13.80% | 19.94% |
| EP-100 | Opus-5.5-extra | 29.22% | 35.85% |
| EP-Easy | GPT-6-Astra | 18.42% | 27.41% |
| EP-Easy | Opus-5.5-extra | 33.99% | 42.88% |
| EP-Hard | GPT-6-Astra | 8.81% | 12.01% |
| EP-Hard | Opus-5.5-extra | 24.21% | 28.48% |
| EP-20 | GPT-6-Astra | 15.42% | 18.75% |
| EP-20 | Opus-5.5-extra | 30.58% | 39.13% |
Astra 第一次做成 64/400 个条件,第二次补上 27 个,只捞回 336 个首败里的 8.04%,还剩 309 个条件失败。条件简单平均为 16.00% 与 22.75%,套件等权后降到 13.80% 与 19.94%。Opus 用 683 次有效尝试,Pass@2 为 35.85%;Astra 用了 736 次。Easy 到 Hard,Astra 的 Pass@2 从 27.41% 掉到 12.01%,Opus 从 42.88% 掉到 28.48%。Home 相反:Astra 在 Hard 上的 Pass@2 为 19.44%,高于 Easy 的 12.50%。
| 套件 | GPT-6-Astra | Opus-5.5-extra |
| Launch | 19.12% / 25.74% | 15.51% / 27.70% |
| Tower | 29.76% / 41.67% | 60.59% / 66.14% |
| Lock | 6.25% / 14.06% | 39.81% / 45.63% |
| Cube | 2.08% / 2.08% | 6.04% / 10.72% |
| Home | 11.76% / 16.18% | 24.17% / 29.06% |
上表是 EP-100 的 Pass@1 / Pass@2。Astra 的汉诺塔 Pass@2 为 41.67%,其中 Physics 68.75%、Plan 50.00%、灵巧手 Dex 9.38%。瞄准 Aim 46.43%,带规则的 Rules 5.56%。孔明锁 9 个成功全在 Easy,灵巧手为 0。魔方 2.08% 只来自 1 个口袋魔方条件,三阶复原为 0。家务只做成精密和动态,书架整理与移动长程为 0。
Opus 的汉诺塔 Pass@2 为 66.14%,孔明锁 45.63%,魔方 10.72%。发射器上 Astra 的 Pass@1 更高(19.12% 对 15.51%),Pass@2 则是 Opus 略高。Tower 的 84 个条件里,成功数是 Opus 55、Astra 35;Cube 的 48 个条件里是 5 和 1。
Opus 成功尝试的平均墙钟叫 Time@S,不含先前失败:Launch 6.2 分钟,Home 26.6,Cube 32.5,Lock 37.0,Tower 38.5。Astra 91 次成功平均约 6.25 分钟。token 总账缺失,Tok@S 未给出。
失败形态集中。Astra 645 次失败中,锁的接触标签 97/115,魔方机构约束 64/94,发射器限制类 129/211,其中仰角 86、未瞄准完就发射 50。四条件全过极少:Astra 一次尝试仅 4 个任务全过,两次尝试也只有 9 个;40 个任务至少有一个条件在两次内成功。
五套件把短板拆开了:汉诺塔相对可做,魔方和长程家务接近做不动,这比单看 35.85% 清楚。协议把套件等权、条件扰动和基建故障写成固定口径。本次公开跑分里,Astra 使用 L3 特权观测,两边都不发辅助工具,也没有消融。两个编码模型在单次三千万 token、仿真里现写控制器的条件下,二次通过率仍不到四成。
Astra 的 645 次计分失败里,574 次(88.99%)涉及未写全的规则或阈值,如发射器关节速度裕度、锁的禁接触阈值、魔方固定关节公差。这些失败照样计分。总分因此只代表原生契约下的完成率,失败分布不能单独解读成模型不会推理或不会控制。
没有端到端的视觉-语言-动作模型,也没有经典规划器,L0 到 L3 未做消融。Astra 读到特权状态仍大面积失败,看不见不是唯一瓶颈。只测了两个写代码的模型,没有真实机器人。EP-20 的难题有一半在试点成功过,会偏乐观。套件高低不能当成受控比较。69 次基建事故被剔除,2 次窗口外成功没有进分。魔方近 5.5 小时、超过十万次动作,搜索失败和未写明公差分不开。