XDOF 发布真机机器人排行榜:16 项实机任务实测前沿模型
pabbeel · x · 2026-10-22
XDOF 宣布推出 Robotics Leaderboard,对前沿模型在真实机器人上的物理操作能力进行严格评测,回应「零样本演示视频华丽但真实能力差距仍大」的问题。
- 首个基准 Ember-0:16 个共享任务,每任务 30 次重复,场景每次重置并随机化,模型完全自主执行(硬件或安全干预除外)
- 评分取 16 个任务平均成功率,等权汇总;按能力标签与动作类型给出分维度表现
- 用 95% 置信区间(对任务内录制 run 重采样)估计不确定性,奖杯仅标记观测领先而非统计显著
- 目前覆盖 4 个模型,后续每评测一个新模型就更新榜单;人类成绩单独评审
UC 伯克利教授 Pieter Abbeel 转发了其学生团队的相关工作,称目标是定向地理解这些模型在物理能力谱系上的真实差距。
「具身」频道最新
- 三星测试 24 小时轮班人形机器人，或亮相 CES 2027 — CyberRobooo · 2026-10-22
- 分析师实测双屏 iPhone Duo 一周:手势、应用适配与相机妥协 — BenBajarin · 2026-10-22
- 美国自动 T 恤产线首次公开演示，投资人背书工程真实性 — MatthewChang · 2026-10-22
- DeepMind 用 Gemini Argon 压缩图灵机，逼近 Busy Beaver 与数论难题 — robertarail · 2026-10-22
- 宇树发布 H2-X 功夫护卫机器人，续航约 8 小时可抬起汽车 — LinusEkenstam · 2026-10-22
- Sharpa 推出 D01 人形机器人：21 自由度灵巧手加全身触觉皮肤 — arnie_hacker · 2026-10-22