SLIP-VLA: Single-Step Latent Imagination for Policy Learning in Vision-Language-Action Models
Tianfu Li, Haoxuan Xu, Wenbo Chen, Haitian Li, Changchuan Yang, Xinhu Zheng, Jun Ma, Yuan Liu, Lujia Wang, Haoang Li
cs.RO
2026-09-27
港科广等提出SLIP-VLA,一次去噪得到时序稠密未来潜变量,并用几何语义对齐与正逆动力学塑形。LIBERO-Plus成功率83.2%,单步想象12ms,真机比π0高12到16个点。
多数 Vision-Language-Action(VLA,视觉-语言-动作)模型直接从当前观测出动作,并不显式建模场景接下来会怎么变。抓取、对准、插入这类操作,接触点和物体姿态都发生在几步之后,只看当前帧容易把目标放错、把接触点估偏。
近期 future-aware VLA 会先预测未来图像或运动再出动作,但推理多半靠慢的自回归解码,而且只给稀疏的未来目标帧,盖不住整个动作窗口。World Action Model(WAM,世界-动作模型)把未来做成时序稠密的视觉动态,代价是迭代去噪。单步变体能压延迟,通常又打不过多步版。一次去噪得到的潜变量怎样才够拿来控机器人,是这篇要回答的问题。
港科广、港科大、南洋理工和浙大提出 SLIP-VLA。骨干是 Qwen3.5-2B 的 VLM,后面接 12 层 World DiT 和 24 层 Action DiT。当前多视角图像和语言指令先过 VLM。World DiT 只做一次去噪,吐出沿动作窗口对齐的 K=4 个未来潜变量槽位,再按层做 cross-attention 注入 Action DiT。推理时不解码未来 RGB。VGGT-Ω、DINOv3 和正逆动力学头只在训练时出现。
单步想象的起点锚定在当前观测上。当前视觉潜变量沿 4 个槽位复制,再混入 η=0.2 的同尺度高斯噪声。纯噪声会在一步里丢掉场景布局,完全不加噪声又给未来变化留得太少。World DiT 若干中间层的表征会送给 Action DiT,最后一层不是唯一来源。
潜变量要够用,训练时拆成两件事。
感知充分性(perceptual sufficiency):较浅一层对齐冻结 VGGT-Ω 的未来几何特征,当前帧加 K 帧未来作为同一时间窗编码,同时对齐方向(余弦)和幅度(尺度回归);更深一层对齐冻结 DINOv3 的逐帧稠密语义。几何回答接触会发生在哪,语义回答该碰哪个物体、哪个部件。
控制充分性(control sufficiency):更深的层上加动作条件的前向世界模型和逆动力学。前向用当前槽位加中间动作段做残差预测下一槽,并要求真动作比打乱动作更贴目标。逆向从相邻两槽还原这段动作,再用错配下一状态、同一状态两种负样本,避免只看当前帧就猜动作。运动用 Smooth-L1,夹爪用二元交叉熵。
训练同时优化 16 步动作块的 conditional flow matching、随机时间步和第一步两个视频预测分支,以及感知与控制损失。第一步分支的时间步从源端点附近逐渐退火到零,对齐推理条件。优化分阶段,先稳住预测表征,再训完整策略。推理时 World DiT 前向一次,Action DiT 直接出动作块。单步想象 12 ms,LIBERO-Plus 上整条链路 181 ms。八张 A100 训练。
三套仿真加一套真机,对照覆盖通用 VLA、future-aware VLA 和 WAM。
| 方法 | LIBERO | LIBERO-Plus | RoboTwin 2.0 |
| π0 | 94.4 | 53.6 | 62.2 |
| LaMP | 98.3 | 79.3 | / |
| Fast-WAM | 97.6 | 49.1 | 91.8 |
| Fast-WAM-Joint | 98.5 | 68.7 | 90.6 |
| SLIP-VLA | 98.9 | 83.2 | 91.8 |
LIBERO 平均 98.9,分项 Spatial 99.6、Object 99.8、Goal 98.2、Long 98.0,只比 Fast-WAM-Joint 高 0.4 点。标准集已经卷到天花板,这 0.4 点没有决策意义。
拉开差距的是零样本分布偏移。LIBERO-Plus 上平均 83.2,比最强对照 LaMP 高 3.9 点,比最好的 WAM(Fast-WAM-IDM 为 68.8)高 14.4 点。RoboTwin 2.0 五十个双臂任务平均 91.8,与 Fast-WAM 持平,且没有外部机器人数据预训练。
消融方向一致。朴素单步在 LIBERO / LIBERO-Plus 为 97.7 / 79.0;只加感知 98.3 / 81.4,只加控制 98.5 / 82.3,两项一起 98.9 / 83.2。分布外增益更大。冻结潜变量上的线性探针:几何 Pearson 从 0.804 升到 0.916,AbsRel 从 0.188 降到 0.112;物体 mask 的 mIoU 从 0.388 到 0.590。源初始化上,当前潜变量加少量噪声优于纯高斯(LIBERO-Plus 83.2 对 82.5)。
去噪从 1 步加到 4 步,PSNR 没有稳定变好,LIBERO-Plus 成功率也是单步最高。塑过形之后,多步去噪在这条设定里是多余的。
真机在 AgileX COBOT Magic 双臂平台,每条件 50 次试验,对照只有 π0。盘玉米从 72% 到 86%;未见背景、外观、朝向为 70 / 70 / 66,相对 π0 的 58 / 54 / 52;两步开盖入锅 82%(π0 为 68),三步再盖上 74%(π0 为 60)。绝对提升 12 到 16 个点。
给做 VLA 的人一条可落地的路径:未来不必渲成像素,也不必迭代去噪。一次前向拿到稠密潜变量,训练时用几何、语义教师和正逆动力学把它塑到能看、能控,推理时把教师全部拆掉。
这是渐进改进。LIBERO 标准集的 0.4 点可以忽略。LIBERO-Plus 相对 WAM 的分布外差距,加上省掉的迭代去噪,才是给从业者看的数字。整条链路 181 ms,瓶颈仍在 Action DiT,12 ms 只是想象这一段。
已经在训带视频预测头的 DiT 系 VLA、并且演示里有未来帧可抽 VGGT-Ω / DINOv3 特征,这套塑形加得上。没有未来帧,训练目标落不了地。
论文没有独立的 Limitations 节,结论只写「塑好的预测潜变量不必完全去噪」。
真机只比了 π0,没有 LaMP 或 Fast-WAM。仿真里持平或略胜的优势,到真机上还没有对照。任务也窄,玉米入盘家族加开盖入锅,单一平台。
骨干是 Qwen3.5-2B,表里基线的视觉-语言模型并不统一,表上第一不能当成同骨架公平赛。训练要额外跑 VGGT-Ω 和 DINOv3,八张 A100,塑形成本写在训练侧。K=4、动作块 16 步,更长时域有没有塌,没有实验。
LIBERO 98.9 掉到 LIBERO-Plus 83.2,分布偏移只被部分接住。