仿真满分真机 0 成功:商汤等团队评测 GPT-6-Astra 揭具身分数水分
jiqizhixin · x · 2026-10-29
商汤、Ropedia、南洋理工大学、东京大学等联合团队对 GPT-6-Astra 进行跨 12 个仿真 benchmark、8 个真机平台的系统评测,揭示具身智能分数严重依赖测试条件:
- 核心反差:仿真 benchmark 拿 100%,真机 11 次插插座尝试 0 次成功
- 研究允许模型从被允许的训练演示构建冻结知识包,并把执行预算放宽至 10 倍:RoboDojo 成功率从标准预算的 27.6% 升至 10 倍预算下的 81.9%——头条分数不能与公开 baseline 的标准预算结果直接比较
- 真机测试不给任务演示、不加训练,暴露出精确接触、状态验证、失败恢复、保持前序进度等失败模式
- 团队还原型了一个「时钟不停走」的家庭环境评测(配图为家具摆放、物理绑定、意图/义务式任务设计的 household 评测流程)
结论:具身智能的 SOTA 分数需审视测试允许了什么,仿真-真机鸿沟仍是核心问题。
所属事件:跨 12 项仿真与 8 个真机评测揭示 GPT-6-Astra 具身分数水分(2 条相关)→
「具身」频道最新
- MacBook Pro 刘海取消换灵动岛,交互向 iPhone 靠拢 — LearnWithBishal · 2026-10-29
- 新 MacBook Pro 竟有触控手势:上滑呼出 Dock、Finder 长按动画 — Dimillian · 2026-10-29
- Tesla Robotaxi 能否追上 Waymo？瓶颈或在场站与监管 — binarybits · 2026-10-29
- Apple 新 M5 触屏 MacBook Pro 官网展示 ComfyUI — lostaccountby2fa · 2026-10-29
- 苹果发布首款触屏 MacBook Pro，颠覆乔布斯「人体工学糟糕」论断 — Polymarket · 2026-10-29
- 马斯克宣布特斯拉 Robotaxi 服务范围扩展至休斯顿全城 — elonmusk · 2026-10-29