语言对齐潜动作,2678 小时人类视频换来真机 72.5% 成功率

SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

Jiachun Jin, Zetong Zhou, Haonan Wang, Zhijie Deng

cs.RO, cs.AI, cs.LG

2026-11-13

用原子动作的语言相似度对齐未配对人机视频的潜动作,人类视频直接监督 VLA,真机四任务平均成功率 72.5%,超过全部 LAM 与 WAM 基线。

这篇在解决什么

VLA 模型的泛化押在交互数据多样性上,遥操作采集贵且慢,第一人称人类视频是现成的补充:拍视频不需要机器人。卡点是具身差异。人抓杯子和机械臂抓杯子,画面、视角、运动全对不上,人类视频里的信号默认迁不到机器人控制里。

潜动作模型(LAM)是不用动作标签利用这类视频的主流路线:从前后两帧推断一个「动作」latent,人和机器人视频都预测它。但现有 LAM 只靠视频重建学这个 latent,重建只约束每条片段自身,学出的潜动作按画面外观聚类,同一场景的不同动作挤在一起,不同场景的同一动作相距很远。人类片段和机器人片段各成各的团,策略从人类视频学到的目标对机器人没有意义。另一条 WAM 路线连未来画面一起预测,训练贵,还要把场景外观建模进去,换个场景就崩。

方法

SALA 用语言补上重建学不到的跨本体语义对应,分三层。

两个设计都有消融撑着。去掉 stop-gradient 改双向,clean 成功率从 80.2 掉到 73.5,因为人类 latent 没有动作监督,反向拉扯会污染锚点。换硬 VQ,对齐 loss 几乎不降:语言相似度是分级的,one-hot 指派只在跳码时才变,表达不了连续的亲疏关系。

策略侧是 π0 式架构,Qwen3-VL-4B 加 0.6B 动作专家。动作专家里一组可学习 latent query 预测冻结 tokenizer 给出的 token 分布,KL 散度监督,人机数据共用;机器人数据再叠 flow matching 动作损失。部署时不需要 teacher、不需要未来帧。训练三段走:人类视频预训练(只要帧,连标注都不用)、遥操作中训练、任务级后训练(遥操作加人类演示)。

结果

仿真在 RoboTwin 2.0,目标本体 Aloha-AgileX 只有 2,500 条轨迹(9.2 小时),另一机械臂 ARX-X5 的 2.7 万条(68 小时)充当「人类视频」,数量差一个数量级,模拟目标机器人数据稀缺的真实处境:

方法类型CleanRandom平均
π0.5VLA70.746.658.7
LingBot-VAWAM75.838.457.1
OpenWAMWAM86.83.945.4
RotVLALAM74.428.051.2
SALALAM80.248.664.4

SALA 从通用 VLM 初始化,平均 64.4 压过所有带机器人预训练 checkpoint 的基线。预测像素的 OpenWAM 在 clean 拿 86.8,domain randomization 换了场景只剩 3.9;SALA 的潜动作按动作组织而非按场景,只掉到 48.6。对齐前后,动作解释的潜空间方差占比从 0.41 升到 0.67,场景占比从 0.14 降到 0.04。

真机是 63-DoF 轮式人形 Sharpa North,双 22-DoF 灵巧手,预训练用 2,678 小时人类视频加 888 小时遥操作,四个任务各 20 次试验:

方法齿轮装配双手倒水插花舀取平均
GR00T N1.79/2010/206/208/2041.25%
OpenWAM-α12/2015/208/2016/2063.75%
同架构无潜动作8/205/204/205/2027.50%
SALA15/2016/2011/2016/2072.50%

两条扩展轴各自成立。预训练预算 0、473、1,103、2,678 小时,四任务动作预测的验证 L1 误差单调下降,16.8 到 16.4(×10⁻³),全程不加机器人数据。后训练固定遥操作,人类演示从 10% 加到 100%,平均成功率 53.75% 到 72.50%,18.75 个点。

为什么重要

这给 VLA 加了一条独立于遥操作的扩展轴。遥操作演示难规模化,任务级人类演示每条只要一个普通人动手,论文里每个任务补录约 813 小时就换来两位数的成功率提升。对新任务,与其加录遥操作数据,多录人类演示是更划算的增量。和 WAM 比,不生成像素,训练推理都省,场景变化下也稳。对齐配方本身不挑平台:有动作标签的机器人数据加带描述的无标签视频,就能套用。

局限与存疑

作者承认两点:tokenizer 训练需要原子动作标注(真机上只标了 2.7 万条的子集,由 VLM 生成,质量未单独审计);扩展性只验证到 2,678 小时,更大规模未知。

读下来的疑点:仿真里的「人类视频」其实是另一台机械臂,人机差异最极端的部分只由真机实验覆盖,而真机只有 4 任务×20 次,72.5% 对 63.75% 的优势折算约 7 次成功,样本不大。宣传性的 +45 点是对比同架构 vanilla VLA(27.5%),基线偏弱,更有信息量的对照是 OpenWAM-α。预训练轴的 L1 降幅只有 2% 量级,论文没给 L1 与成功率的换算。平台与 2,678 小时数据未见开源承诺,复现门槛高。

术语

原文与代码

相关论文

全部论文解读