SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang, Shunbo Zhou, Haoang Li
cs.RO
2026-11-06
从π0.5持续预训练，用冻结三维老师对齐视觉token，八组真机平均83.8%，高出π0.5共24.0个百分点。
VLA的视觉token主要来自2D图文预训练，三维监督多半留到后训练。抓取和交接依赖末端与物体的相对位姿。深度和点云当不了底座：测量残缺，标定各异，大量公开轨迹没有深度。Spatial Forcing把视觉token对齐到外部三维特征，部署不必再喂三维，但只做后训练，空间能力仍绑在任务上。
SLA从Physical Intelligence的π0.5继续预训练，让对齐进入底座，下游适配时这项损失还保留。
动作以视觉和语言token为条件，由flow matching生成动作块。中间视觉token里没有三维结构，动作头就拿不到几何。探测实验冻住VLA，只训练DPT深度头：不对齐的嵌入还原不出深度，对齐后才出现空间结构。
训练时加一条部署即删的支路。冻结的三维模型OmniVGGT读多视角RGB，有内外参或深度就用GeoAdapter写进特征，没有则放占位token。特征加位置编码，双线性采样到VLA的token网格。骨干PaliGemma有18层，视觉token共用LayerNorm和两层MLP，再乘逐token、逐通道的sigmoid门，跨层相加，门参数各层共用。场景和本体差异大，锁死单层会偏科，门按当前特征分配各层权重。损失是1减余弦相似度，乘α后与动作损失相加。推理去掉老师、投影和门，不读深度和标定，本体状态照常给。
关节空间跨不了本体，观测改为绝对末端位姿，预测相对当前位姿的平移和旋转向量，相对旋转走SO(3)复合，避开欧拉角在±2π处跳变。每个样本还按概率整段丢掉本体状态，免得用关节角复读示教。六套数据筛选前约171.4万条、14330小时，只留二指夹爪，去掉底盘移动和下游评测数据。重复仿真按任务下采样，InternData-A1部分任务留3%，RoboCasa的MimicGen留0.5%。
持续预训练3.6万步，等效batch 4608，48张H100约110小时。后训练仍做对齐。评测分四处：LIBERO-Plus看观测和语言扰动，RoboTwin用干净演示训练再测随机场景（Clean2Random），RoboCasa是每任务50条的厨房操作，真机是八组私有条件。
| 评测 | 对照 | SLA |
| LIBERO-Plus加权成功率 | π0.5 84.4%，Spatial Forcing 85.1% | 87.4% |
| RoboTwin Clean2Random | π0.5 46.0%，ME-Dex-1.0 68.1% | 72.3%，平均79.2% |
| RoboCasa-Panda，50条/任务 | Cosmos 67.1%，Spatial Forcing 67.6% | 68.4% |
| RoboDojo-Real成功率 | π0.5 12.8%，InternW0-∆ 31.7% | 33.9%，分数42.3 |
| 八组真机 | π0.5 59.8%，Spatial Forcing 68.0% | 83.8% |
八组条件SLA都最高：递菜94%，捡回被扔水果82%，运动中的目标76%，100条Piper加10条Franka的跨本体78%，未见黑胶带80%。Spatial Forcing只在后训练对齐，换桌高和未见物体反而低于π0.5，64%对68%，56%对60%。RoboCasa二十四项里十项超过80%，关微波炉为100%。
两阶段都对齐时，Clean2Random从数据量5%的49.2%升到全量72.3%；完全不对齐只从43.8%到48.2%。全量下仅预训练对齐63.2%，仅后训练57.1%。单层最好是第12层的67.3%，自适应融合到72.3%，高于第18层单用的64.6%。状态dropout在25%时，RoboTwin两设置平均79.2%，概率为0时38.1%。旋转向量79.2%，高于四元数74.3%、欧拉角65.5%、Rot6D 62.9%，四种都先做SO(3)复合。
π0.5的推理图可以保持不动，三维监督只出现在训练。真机平均高24.0个百分点。RoboCasa用每任务50条达到68.4%，表内300到3000条预算的其他策略最高66.4%。不对齐时，多加数据几乎带不动随机场景；两个阶段都对齐，数据才换成泛化。
相对π0.5，LIBERO-Plus只高3.0个百分点，语言扰动只从80.8%到83.5%。RoboTwin平均以79.2%对78.9%略高于ME-Dex-1.0，干净场景86.0%仍低于89.6%。仿真榜上的增幅，主要来自场景随机化和观测扰动。
正文没写局限。对齐、dropout和旋转向量绑在同一套主结果里。dropout从0到25%，RoboTwin平均从38.1%跳到79.2%，再升高又掉，落差大于多数榜差。缩放实验比了对齐的开关，没和dropout交叉，24.0个百分点不能全算给三维老师。
相对π0.5，噪声从89.0%到95.4%，背景从94.1%到98.0%，机器人扰动只从73.6%到73.8%。对上Spatial Forcing，相机和噪声更高（82.2%对70.2%，95.4%对86.0%），机器人、语言、布局更低（73.8%对79.3%，83.5%对85.6%，86.2%对88.3%）。与Qwen-RobotManip相差的0.3个百分点，摊在10030次rollout上大约只有30次试验。RoboCasa的高预算成绩来自别的模型，没有同一策略的数据对照。
RoboDojo-Real另加记忆，历史图像推理时仍在，计算图已不是原版。ARX X5为50.3分、36.7%，低于InternW0-∆的59.7分、50.0%；Piper X成功率10.0%。标定实验是另一套自采数据，46.0%对42.8%，对不上主表的79.2%。171.4万条是筛选前统计，实际入训规模没给。只覆盖二指夹爪和固定基座。