Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies
Galbot Team, Xuchuan Chen, Xiaoqian Cheng, Yu Deng, Lihe Ding, Shaocong Dong, Xiangjun Gao, Haozhe Jia, Zekai Li, Zhoujian Li, Yunrui Lian, Sikai Liang, Chenghuai Lin, Dairu Liu, Jiahang Liu, Qingtao Liu, Yuxuan Ma, Zekun Qi, Jiayi Su, He Wang, Ruochen Xu, Tianyu Xu, Xudong Xu, Zhe Xu, Mi Yan, Siming Yan, Li Yi, Ruixi Yu, Jinlu Zhang, Yintianrun Zhang, Zhikai Zhang, Zhizheng Zhang, Yixin Zheng, Weiyi Zhu
cs.RO
2026-09-30
六域实测 GPT-6 Astra 当机器人策略:导航 92% 领先,RoboDojo 混合控制 48%,走路五连败,单次推理近 40 秒。
推理模型在机器人系统里一直当「大脑」用:出计划、选技能、写代码,底层动作交给专门训练的策略。GPT-6 Astra 把这条分工线打穿了,它能直接输出数值化的机器人动作,从末端执行器目标到导航位移。Galbot 团队问的问题很实际:既然模型能出动作,它离通用具身策略有多远,边界在哪,每步决策花多少算力。评测覆盖六个领域:夹爪操作、灵巧手、移动操作、导航、locomotion、人形 loco-manipulation,每个领域沿用原 benchmark 的指标和协议。
评测设了两条控制路径:
两条路径共用同一个反馈环:观察、生成或审核、执行、再观察。配对实验共享物理初始状态和随机种子;固定配置评测与开发性试验(调 prompt、调接口)分开报告,这个口径在机器人评测里算干净。
Hybrid 的关键设计是克制。Astra 不接管整段动作,只在策略提案与场景不符时出手:RoboDojo 上它只改了 14.4% 的执行步,灵巧手任务里只有 11.98%。动作主体留给策略,Astra 负责修目标、修接触条件、修任务进度判断,全文的成绩基本来自这层分工。
| 领域 | 路径 | 结果 | 对照 |
| RoboDojo 夹爪操作(50 实例) | Hybrid | 48% 成功,Score 62.6 | Direct 26%;π0.5 单独 15.7% |
| RoboLab 零样本单臂(50 试) | Direct | 98% | Hybrid 92%;π0.5 36% |
| 灵巧手十任务(0-100 Score) | Hybrid | 61.6 | π0.5 44.2;Direct 16.6 |
| 手内旋转 at-goal 率 | Direct | 圆柱 0.51%、长方体 4.40% | 任务专用 RL 76.90%、63.50% |
| RoboCasa365 移动操作(75 集) | Hybrid | 38.7% | Direct 33.3%;π0.5 22.7% |
| RxR 指令跟随成功率 | Direct | 92% | LightNav-0 72% |
| HumanoidBench 30 任务平均回报 | Hybrid | 581.9 | TD-MPC2 338.2 |
导航是最强项。单张前向 RGB,不给地图、定位和深度,Astra 在 RxR 拿 92% 成功率、HM3D 物体搜索 82%,在所有有结果的子集上成功率与 SPL(按路径效率加权的成功率)都高于本地重跑的五个已发布策略,对 LightNav-0 的成功率优势在 16-36 个百分点。短板也写在同一张表里:MP3D 物体搜索 SPL 只有 22.43%,目标找得到,路绕得很凶。
locomotion 是最弱项。同一条障碍赛道连续五次尝试全部失败,第五次站稳 30 秒、行进 3.8 米,离终点还差 6.5 米;对照的 PASSAGE 13.18 秒走完全程。
成本账单独立成节:RoboDojo 每条件 50 个实例,Hybrid 与 Direct 分别消耗 6.248 亿和 11.32 亿 token;30 秒的 locomotion 需要 250 次模型调用,平均每次 39.86 秒,推理期间物理仿真全程暂停。
这份评测把「推理模型能不能当机器人策略」从 demo 变成了可引用的数字。三个能直接拿走的结论:零样本单臂语义抓放,Direct 已到 98%,不用配策略;「有策略但不稳」的场景适合上 Hybrid,只改 12-14% 的步数,RoboDojo 成功率就从 15.7% 拉到 48%;导航成功率领先全部本地基线,凭的是单张 RGB。成本账同样关键:单次决策几十秒,真机实时控制目前走不通,「暂停物理等模型想」只有仿真能做到。人形方向的组合(冻结整体控制器加 Astra 选命令)在 30 个 HumanoidBench 任务里 13 个超过已发布 RL 方法,是可跟进的路线。
作者承认的核心局限:有用的任务决策与可靠的物理控制之间有断层,手内接触重组、运动生成、完成判据三处最明显,鸡蛋侧放仍报成功的案例写进了正文。策略辅助不保赚不赔:RoboCasa 上 CoffeeSetupMug 只有单独 π0.5 能过,两个 Astra 条件五个种子全失败;经验改写的指导语也不稳定,handover 任务成功一次、复盘后再试反而失败。
读下来还有几处要打折。HumanoidBench 上 Astra 拿到特权状态、任务几何和指导文本,与已发布 RL 方法信息条件不对等,581.9 对 338.2 的优势不能直接读。locomotion 的五次尝试是一条适应轨迹,不是五次独立试验。灵巧手 DexJoCo 的 50% 出自逐对改写指导语的经验引导试验,并非固定配置。多数对比每格只有 5 个样本,任务级数字会晃。导航基线在本地换了相机规格重跑,论文自己标注了口径差异。