Hugging Face 发布 RoboColosseum:5699 场盲测,前沿 Agent 没完成任何 humanoid 任务
DJiafei · x · 2026-11-06
RoboColosseum:大规模真实世界机器人评测
Hugging Face 联合多家机构发布 RoboColosseum(arXiv:2611.02497),一个分布式、在真实环境中评测物理智能的框架:统一策略服务 + 标准化协议,覆盖全球 124 个站点、多种本地机器人。
评测设计
- Open Track:不做任务适配的盲测两两对决,本地条件对齐,共 5,699 场两两对比
- Fine-tune Track:每个 VLA 策略对每个任务获得相同的 100 条演示,测其在 20 个任务、4 种本体上的适配能力
- 评测对象:5 个 VLA 策略 + 3 个前沿 AI agent,覆盖 4 种机器人本体(SO-101、Franka、Bimanual-YAM、G1 人形)
关键结论
- 前沿 AI agent(通用 agent)的表现已可与专门训练的 VLA 策略匹敌,但没有任何系统完成过一个人形机器人任务
- 微调后:GR00T N1.7 在 SO-101 上领先,pi0.5 在 Franka 和 Bimanual-YAM 上领先
- 所有系统在开放世界任务上都难以可靠完成;策略排名跨设置一致性较弱
所属事件:RoboColosseum 上线:100+ 真机开放机器人评测(73 条相关)→
「具身」频道最新
- 特斯拉 Roadster 火箭版实拍:10 个 SpaceX 冷气推进器 — beffjezos · 2026-11-06
- 树莓派机器人 PHOS:用 MCP 给 Claude 装上传感器和表情眼 — jfrankie · 2026-11-06
- 特斯拉 Robotaxi 无人监督里程破 450 万英里,零伤亡零气囊 — XFreeze · 2026-11-06
- Google 发布 Fitbit Edge:50 米防水且首次支持用户自行换电池 — GoogleDesign · 2026-11-06
- Meta 开放与 Muse AI 头像视频通话,配套可穿戴设备将至 — TechCrunch AI · 2026-11-06
- 从业者预判:明年是机器人评测之年,酷炫演示不再能融资 — DJiafei · 2026-11-06