GPT-6-Astra 裸测翻车:12 项具身基准 11 项远低于公布成绩
wzenus · x · 2026-11-20
StarVLA 社区发布 starRoboEval 测试,质疑近期 GPT-6-Astra / Fable 5.2 在机器人任务上的亮眼成绩有多少来自模型本身、多少来自针对基准定制的 harness。
方法
- 将 14 个仿真具身基准(桌面操作、家务、人形、导航)各自封装为独立服务;评测中智能体只能获取相机图像、机器人状态与动作,不接触仿真器内部状态。
- 构建通用设置加单一 prompt 的「原生 GPT-6-Astra 策略」,不对任何基准做定制。
结果
- 12 个有公布参考成绩的基准中,11 个大幅低于参考值:LIBERO 上 34.5% vs 99.9%,RoboDojo 上 20.0% vs 68.9%;VLN-CE 导航是唯一例外。
结论
一旦去掉基准定制,前沿模型的原生机器人控制能力与已发表分数差距巨大,提示现有具身基准分数混杂了 harness 与仿真器状态的贡献。全部评测录像已在项目页公开。
「具身」频道最新
- DOPPEL:单一视频世界模型横跨 8 种机器人本体训练 — _krishna_murthy · 2026-11-20
- 开发者称破解 JEPA:模型小 30 倍、预测快 100 倍,3080 半小时训成 — MarcJSchmidt · 2026-11-20
- MongoDB 创始人造开源物理 AI 平台 Viam,欲十年部署 10 亿台 — gdequeiroz · 2026-11-20
- Waymo 无人车现身多伦多街头,夜间市区实拍 — GregCook2011 · 2026-11-20
- RealSense 双目 RGB + NVIDIA 立体基础模型实时深度估计 demo — chrismatthieu · 2026-11-20
- 网友复刻语音指令机器人仆人:从预设动作到听懂人话 — Infinite-Job-5616 · 2026-11-20