552B主干十条示教打过五十条,插充电器从十分之四到十分之九

ScaleVLA: Scaling Vision-Language-Action Models to 552 Billion Parameters

Ruixi Yu, Dairu Liu, Xuchuan Chen, Zekun Qi, Zekai Li, Zhuo Cao, Luyang Niu, Yingsheng Zhang, Sikai Liang, Ke Fan, He Wang, Li Yi

cs.RO

2026-11-17

ScaleVLA把552B的DeepSeek-V4.1-Flash冻住,只训练一个动作DiT,控制时不做文本推理。LIBERO-Goal上十条示教成功率87.8%,高于2B主干五十条示教的85.6%;真机插充电器从4/10升到9/10。

这篇在解决什么

视觉-语言-动作模型(VLA,看图、读指令、直接输出动作)的主干至今偏小。GR00T N1.7 用 2B 的 Cosmos-Reason2。GPT-6 Astra 能做操作,主要靠通用预训练里的感知和空间知识,不靠一份更大的机器人示教集。能锁住回答的问题因此很窄:动作头、示教条数、优化步数不变,只换视觉语言主干,样本效率、分布外成功率和接触精度会不会一起上去。

每步都让大模型写计划再复查,延迟下不来。小主干又经常在对准和插入上失败。这篇把前沿 VLM 冻住,控制回路里只读一次特征,不生成文字。

方法

主干是 DeepSeek-V4.1-Flash-1017,552B 参数的混合专家网络(MoE,每个 token 只计算一部分专家),视觉和语言权重冻结。图像和指令按模型原有对话格式送入 20 层因果编码器,读出下一层注意力要用的 token,维度 5120。后 20 层解码器不执行。

动作头按 GR00T N1.7 从零训练。适配器做层归一化,再用两层线性层把主干 token 投到 2048 维,接 4 层自注意力。状态与带噪动作用本体专属 MLP 编码。动作 DiT(diffusion transformer,用 transformer 对一段动作去噪)有 32 层,自注意力处理状态和动作,交叉注意力轮流读取非图像 token 和图像 token。flow matching 在噪声和示教之间走直线,网络预测速度,损失只覆盖有效动作维度。主干冻结,特征预计算一次。

推理时每个动作块(一次预测的未来多步动作)只跑一次主干,DiT 用同一份特征积分 4 步。LIBERO 预测 16 步、执行 8 步再规划;DexJoCo 预测 30 步,执行和生成重叠。对照还有 Qwen3-VL(2B、32B)和 Cosmos-Reason2(2B、8B、32B)。动作头结构、随机初始化和训练预算相同,不加载预训练的机器人动作专家。

结果

样本效率把优化锁在 5000 步,示教用嵌套子集,小主干均为 Cosmos-Reason2。

每任务示教Goal 2BGoal 552BLong 2BLong 552B
539.4%77.4%24.0%62.2%
1055.0%87.8%56.0%75.0%
2585.2%97.6%69.6%84.6%
5085.6%95.4%82.4%86.8%

Goal 上 10 条示教的 552B 为 87.8%,高于 2B 用 50 条的 85.6%;5 条时从 39.4% 到 77.4%。同为 5 条时,8B 为 60.6%,32B 为 61.2%,中间规模几乎没再涨。示教到 50 条,Goal 上 552B 的 95.4% 与 32B 的 95.2% 持平,还低于自己 25 条时的 97.6%。Long 上 50 条时,8B 的 87.2% 略高于 552B 的 86.8%。

全量 LIBERO 四套件平均,552B 为 96.1%,Cosmos-Reason2-32B 为 94.0%,Qwen3-VL-32B 为 93.6%,Cosmos-Reason2-8B 为 93.7%,Qwen3-VL-2B 为 91.2%,Cosmos-Reason2-2B 为 90.7%。π0、OpenVLA、CoT-VLA 已发表平均为 94.2%、76.5%、83.9%。Spatial 与 Object 近乎饱和,552B 高出的部分在 Goal 96.8% 和 Long 90.2%。

LIBERO-PRO 不重训,直接加扰动。552B 平均 45.1%,稠密主干最高 31.3%(Cosmos-Reason2-8B),两个 2B 为 29.3% 和 23.3%。Qwen3-VL-32B 平均只有 22.8%,比 8B 更低。Goal 的环境扰动和物体扰动上,552B 为 47.8% 和 56.4%。Object 的环境扰动上 552B 为 31.2%,低于 Cosmos-Reason2-32B 的 32.4%。

RoboCasa 分布外厨房,30 条生成示教时 2B 到 32B 为 22.4% 到 25.6%,552B 为 30.7%;100 条时前者 42.8% 到 45.6%,552B 为 54.9%。

DexJoCo 五个双手任务联合训练。物体随机化平均成功率 2B 为 31.9% 到 37.1%,8B 与 32B 为 38.1%,552B 为 42.1%。全随机后 552B 为 24.4%,最好的小主干为 22.1%;装配最高只有 1.3%。微波炉物体随机化时 552B 为 73.3%,低于 Qwen3-VL-32B 的 89.3%。文中 DP-T、π0.5 的 16.0% 和 10.1% 来自另一套训练。

真机为双臂插充电器:右臂抓取并交接,左臂对准插排再插入。顶视加双腕相机,示教多从同一参考位置出发。π0.5 的主干见过大规模机器人数据。2B 与 552B 验证动作误差接近。

策略域内域外插入完成延迟
Cosmos-2B4/105/1585.9 秒147.1 秒311 毫秒
π0.58/107/1581.2 秒132.0 秒262 毫秒
ScaleVLA9/108/1558.1 秒114.4 秒384 毫秒

域内失败都在插入。552B 的插入中位时间 58.1 秒,比 π0.5 的 81.2 秒短 28%;完成时间 114.4 秒,比 132.0 秒少 13%。2B 多次因手臂间隙不足安全停止,552B 没有。

RoboCasa 上 552B 参数量是 2B 的 276 倍,动作块中位延迟 216 毫秒对 115 毫秒。动作头约 70 毫秒,主干从 2B 增到 32B 只多约 26 毫秒。552B 用 4 张 H200,其余各 1 张。输入 token 为 568 对 212,这部分没有从延迟里拆出。真机往返延迟见上表,中位 384 毫秒。

为什么重要

训练开销在动作头。主干冻结后特征可预计算,做骨干消融不必重训 552B。收益集中在示教少、分布偏、需要接触对准的设定;LIBERO 上接近饱和的抓放,8B 到 32B 已经够用。

π0.5 把较小主干先放在大规模机器人数据上训练,域内 8/10、域外 7/15,缩小了和 552B 的差距,插入仍慢约 23 秒。机器人数据预训练补了一部分,接触对准仍是前沿通用表征领先的地方。

亚秒级动作块做得到,硬件是 4 张 H200,控制周期靠一块动作摊开,不是每个伺服周期都跑主干。延迟更高的 552B,整段任务更快,差在插入少失败。

局限与存疑

真机只有插充电器,域内 10 次、域外 15 次。域外 8/15,摆放一离开训练分布,插入就不稳。示教又集中在一个参考位置,域内 9/10 不能外推到开放桌面。

LIBERO 四套件平均从最好的 32B 稠密主干 94.0% 升到 552B 的 96.1%,Spatial 和 Object 已经饱和,可读的差距在 Goal、Long 和扰动。Object 套件的环境扰动上,552B 并不高于 32B。DexJoCo 全随机只高出 2.3 个点,装配近乎失败。微波炉上 552B 更差。Goal 在 50 条示教时 552B 与 32B 打平,还低于自己 25 条的 97.6%,低数据上的优势不能顺推到数据充足的时候。

延迟里混着 token 数,552B 每帧 568 个,其他主干 212 个。活跃参数只说是「一部分」,正文没有给出每个 token 的实际计算规模。552B 是总参数,单步计算量并没有给出。

实验也没有跟 Astra 那种测试时推理比。冻结表征加模仿,主干一层都不更新。解冻顶部层,或再用机器人数据继续预训练,还能涨多少,这里没有测。

术语

原文与代码

相关论文

全部论文解读