给世界动作模型加 V-JEPA 观测历史，真机 OOD 成功率 27.5% 升至 70%

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

Tianbin Liu, Jian Zhu, Taiyi Su, Jianjun Zhang, Chong Ma, Zitai Huang, Weiyi Lu, Yi Xu

cs.CV, cs.AI

2026-09-16

CSWAM 在 FastWAM 式动作模型上加 V-JEPA 语义专家和观测历史，RoboTwin OOD 成功率从 10.16% 升到 45.18%，真机平均 27.5% 升到 70%。

这篇在解决什么

World action model(WAM,世界动作模型)是机器人操作里对 VLA(vision-language-action,视觉-语言-动作多模态策略)的一条替代路线：视频预测和动作生成联合训练，让「预测未来画面」给动作提供监督。FastWAM 这一支更进一步，训练时两路一起学，部署时把未来视频生成整个砍掉，只迭代动作去噪，推理开销大幅下降。

代价在视觉分布偏移下暴露。论文实测，FastWAM 换个背景、换个物体外观，成功率直接跳水。两个原因都指向表征：视频流跑在为重建优化的 VAE latent 上，保留的是外观细节，背景一变视觉上下文就跟着变，哪怕任务状态根本没变；动作 expert 只看当前一帧，拿不到「物体刚被移动过、夹爪正抓着什么」这类时序证据。而真实部署不可能为每种背景和物体外观都收一遍演示。

已有工作往 WAM 里加 DINO 这类预训练语义编码器，但逐帧编码不显式建模场景怎么演化。这篇选 V-JEPA 2.1，一个视频原生的联合嵌入预测模型，在特征空间做预测、不重建像素，天然更关心状态变化和运动、更不关心外观。

方法

CSWAM 保留 FastWAM 的视频、动作两路，加了第三路：因果语义 expert。整条链路是：

冻结的 V-JEPA 2.1 编码一段稀疏观测历史。历史按步长采样(不是连续帧)，用 8 帧覆盖更长时间窗；相邻两帧被编进同一个 tubelet(视频 ViT 把一小块时空编成一个 token 的做法)，短程状态转移和运动在进 expert 之前就已经在特征里。
语义 expert 不把 V-JEPA 特征当静态 conditioning 用。它在与另外两路相同的 flow-matching 框架(一种学习把噪声推向数据的扩散式目标)下，从干净历史外推未来 V-JEPA 特征，loss 只算未来 token。这一步逼着可训练通路真正建模语义状态的演化。
三路组成 Mixture-of-Transformers(MoT,一种多模态稀疏混合架构)：各 expert 保留自己的投影和 FFN,靠 masked attention 交换信息。mask 的关键设计：视频 token 可以看语义历史，让生成视频这路也吃到时序语义；动作 expert 看当前视频 token 加语义历史，看不到任何未来目标，因果性由此保证。
训练目标是三路 flow-matching 误差加权和，视频和语义共享噪声水平，动作独立采样。
部署时未来 token 全部丢弃，当前视频状态和语义历史只编码一次、在去噪步间复用，只跑动作 expert。FastWAM 的 action-only 推理效率原样保留。

设计的核心权衡在「补什么、不补什么」：没有补未来想象(那会把砍掉的推理成本加回来)，补的是观测侧的表征质量和历史上下文。

结果

模拟用 RoboTwin 2.0 的 50 个双臂任务，每任务 100 次 rollout。标准混合训练(Full 协议，2500 条 Clean 加 25000 条 Randomized 演示)下：

方法	Clean	Randomized	平均
FastWAM	91.9	91.8	91.9
ST-WAM	93.1	92.5	92.8
ABot-M0.5(表内最强 WAM)	94.0	94.2	94.1
CSWAM	94.7	94.3	94.5

混合训练下 CSWAM 是表里最好的，领先 FastWAM 2.6 点。真正的差距开在 Clean2Random 协议：只用 2500 条 Clean 演示微调，去 Randomized 场景测试，OOD 且不做任何适配：

设置	Clean	Randomized(OOD)	平均
FastWAM	63.68	1.82	32.75
FastWAM + 具身预训练	76.68	10.16	43.42
CSWAM	78.48	9.36	43.92
CSWAM + 具身预训练	84.46	45.18	64.82

这张表有两个关键读数。具身预训练(5000 小时机器人语料)对 FastWAM 的 OOD 只加 8.34 点，对 CSWAM 加了 35.82 点；同一份预训练权重，架构决定了能榨出多少可迁移的东西。另一个读数：CSWAM 在 Clean 上比 FastWAM 高 7.78 点，Randomized 上高 35.02 点，增益集中在新分布，作者据此论证这不是把训练分布拟合得更好。

真机是双臂平台(两台 ARX 机械臂)、两个长程任务：玩具分拣(12 小时演示)和叠毛巾(4 小时)，三档递进偏移(Normal 只换环境，Hard 加灯光和桌面，Extreme 再换物体和容器)，每档 20 次：

任务	Normal	Hard	Extreme
Sort:FastWAM / CSWAM	65 / 100	25 / 95	10 / 75
Fold:FastWAM / CSWAM	60 / 100	5 / 40	0 / 10

120 次 rollout 平均，27.5% 对 70.0%;只看偏移叠加的 Hard 和 Extreme 四组，10% 对 55%。成功 rollout 的完成时间也更短，Sort 三档平均 CSWAM 44.2 秒，FastWAM 64.8 秒。

消融把两条腿拆开验证：去掉观测历史，Clean/Randomized 各掉 1.7/1.8 点；去掉视频 expert,掉 6.1/8.1 点。语义通路不能替代生成式视频监督，两者互补。换编码器的对照里，DINOv3 ViT-L(参数约 3.5 倍于 V-JEPA 的 ViT-B)逐帧编码比 V-JEPA 2.1 低 1.4/1.5 点，支持了「时间联合编码」这个选择本身有价值。

为什么重要

Action-only WAM 是当前机器人操作里推理效率最好的路线之一，这篇指出它的 OOD 短板，并给出一个不加推理成本的修法：所有新增计算都在观测编码侧，算一次就缓存。对要把机器人部署到非训练环境的团队，这是直接可用的方向。方法本身是渐进式的(V-JEPA、MoT、flow-matching 都是现成件)，价值在组合方式和一套把混合训练与 OOD 转移分开测的验证协议。要提醒的一点：45.18% 这个数依赖 5000 小时具身预训练，没有这一步，OOD 只有 9.36%。

局限与存疑

作者自己承认的部分：Extreme Fold(环境、灯光、桌面、物体、容器同时换)只有 10%,复合偏移仍是硬骨头；完成时间是成功条件下的均值，Extreme Sort 的 39.8 秒比 Normal 还短，作者解释是失败 rollout 被排除后的幸存者偏差。

读下来还有几点存疑。真机只覆盖两个任务、每设置 20 次 trial,粒度就是 5%,Fold Hard 的 40% 和 45% 之间只差一次成败。真机对照只有 FastWAM 一个，ST-WAM、Faster-WAM 这些同样冲着 OOD 去的方法只出现在混合训练表里，没有 Clean2Random 或真机的正面比较。Full 协议下 0.4 点的领先在每任务 100 rollouts 的设置下算不上稳。另外语义 expert 从 ActionDiT 权重热启动，各组件贡献的拆解依赖消融而非独立训练曲线。

术语

WAM(world action model):视频预测与动作生成联合训练的机器人策略模型，用「预测未来画面」给动作提供监督。
V-JEPA:Meta 的视频自监督模型，在特征空间预测被遮住的内容、不重建像素，对外观变化不敏感。
flow-matching:一种扩散式生成训练目标，学习把噪声流向数据的速度场，动作生成里常用。
Mixture-of-Transformers(MoT):多模态稀疏混合架构，各模态有独立参数，靠注意力交换信息。
tubelet:视频 ViT 把相邻几帧的一小块时空编成一个 token 的做法，天然携带短程运动信息。
具身预训练(embodied pretraining):在大规模机器人操作视频加动作数据上预训练，再做任务微调。

原文与代码

社区讨论

CSWAM 论文引入 V-JEPA 2.1 因果语义专家,提升世界动作模型分布外泛化 zhenjun_zhao