SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
Jiachun Jin, Zetong Zhou, Haonan Wang, Zhijie Deng
cs.RO, cs.AI, cs.LG
2026-11-13
用原子动作的语言相似度对齐未配对人机视频的潜动作,人类视频直接监督 VLA,真机四任务平均成功率 72.5%,超过全部 LAM 与 WAM 基线。
VLA 模型的泛化押在交互数据多样性上,遥操作采集贵且慢,第一人称人类视频是现成的补充:拍视频不需要机器人。卡点是具身差异。人抓杯子和机械臂抓杯子,画面、视角、运动全对不上,人类视频里的信号默认迁不到机器人控制里。
潜动作模型(LAM)是不用动作标签利用这类视频的主流路线:从前后两帧推断一个「动作」latent,人和机器人视频都预测它。但现有 LAM 只靠视频重建学这个 latent,重建只约束每条片段自身,学出的潜动作按画面外观聚类,同一场景的不同动作挤在一起,不同场景的同一动作相距很远。人类片段和机器人片段各成各的团,策略从人类视频学到的目标对机器人没有意义。另一条 WAM 路线连未来画面一起预测,训练贵,还要把场景外观建模进去,换个场景就崩。
SALA 用语言补上重建学不到的跨本体语义对应,分三层。
两个设计都有消融撑着。去掉 stop-gradient 改双向,clean 成功率从 80.2 掉到 73.5,因为人类 latent 没有动作监督,反向拉扯会污染锚点。换硬 VQ,对齐 loss 几乎不降:语言相似度是分级的,one-hot 指派只在跳码时才变,表达不了连续的亲疏关系。
策略侧是 π0 式架构,Qwen3-VL-4B 加 0.6B 动作专家。动作专家里一组可学习 latent query 预测冻结 tokenizer 给出的 token 分布,KL 散度监督,人机数据共用;机器人数据再叠 flow matching 动作损失。部署时不需要 teacher、不需要未来帧。训练三段走:人类视频预训练(只要帧,连标注都不用)、遥操作中训练、任务级后训练(遥操作加人类演示)。
仿真在 RoboTwin 2.0,目标本体 Aloha-AgileX 只有 2,500 条轨迹(9.2 小时),另一机械臂 ARX-X5 的 2.7 万条(68 小时)充当「人类视频」,数量差一个数量级,模拟目标机器人数据稀缺的真实处境:
| 方法 | 类型 | Clean | Random | 平均 |
| π0.5 | VLA | 70.7 | 46.6 | 58.7 |
| LingBot-VA | WAM | 75.8 | 38.4 | 57.1 |
| OpenWAM | WAM | 86.8 | 3.9 | 45.4 |
| RotVLA | LAM | 74.4 | 28.0 | 51.2 |
| SALA | LAM | 80.2 | 48.6 | 64.4 |
SALA 从通用 VLM 初始化,平均 64.4 压过所有带机器人预训练 checkpoint 的基线。预测像素的 OpenWAM 在 clean 拿 86.8,domain randomization 换了场景只剩 3.9;SALA 的潜动作按动作组织而非按场景,只掉到 48.6。对齐前后,动作解释的潜空间方差占比从 0.41 升到 0.67,场景占比从 0.14 降到 0.04。
真机是 63-DoF 轮式人形 Sharpa North,双 22-DoF 灵巧手,预训练用 2,678 小时人类视频加 888 小时遥操作,四个任务各 20 次试验:
| 方法 | 齿轮装配 | 双手倒水 | 插花 | 舀取 | 平均 |
| GR00T N1.7 | 9/20 | 10/20 | 6/20 | 8/20 | 41.25% |
| OpenWAM-α | 12/20 | 15/20 | 8/20 | 16/20 | 63.75% |
| 同架构无潜动作 | 8/20 | 5/20 | 4/20 | 5/20 | 27.50% |
| SALA | 15/20 | 16/20 | 11/20 | 16/20 | 72.50% |
两条扩展轴各自成立。预训练预算 0、473、1,103、2,678 小时,四任务动作预测的验证 L1 误差单调下降,16.8 到 16.4(×10⁻³),全程不加机器人数据。后训练固定遥操作,人类演示从 10% 加到 100%,平均成功率 53.75% 到 72.50%,18.75 个点。
这给 VLA 加了一条独立于遥操作的扩展轴。遥操作演示难规模化,任务级人类演示每条只要一个普通人动手,论文里每个任务补录约 813 小时就换来两位数的成功率提升。对新任务,与其加录遥操作数据,多录人类演示是更划算的增量。和 WAM 比,不生成像素,训练推理都省,场景变化下也稳。对齐配方本身不挑平台:有动作标签的机器人数据加带描述的无标签视频,就能套用。
作者承认两点:tokenizer 训练需要原子动作标注(真机上只标了 2.7 万条的子集,由 VLM 生成,质量未单独审计);扩展性只验证到 2,678 小时,更大规模未知。
读下来的疑点:仿真里的「人类视频」其实是另一台机械臂,人机差异最极端的部分只由真机实验覆盖,而真机只有 4 任务×20 次,72.5% 对 63.75% 的优势折算约 7 次成功,样本不大。宣传性的 +45 点是对比同架构 vanilla VLA(27.5%),基线偏弱,更有信息量的对照是 OpenWAM-α。预训练轴的 L1 降幅只有 2% 量级,论文没给 L1 与成功率的换算。平台与 2,678 小时数据未见开源承诺,复现门槛高。