What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling
Renping Zhou, Zanlin Ni, Zihao Fan, Guohao Fu, Zeyu Liu, Hao Shi, Jie Zhang, Chi Bene Chen, Yang Yue, Xueyang Fu, Gao Huang
cs.CV, cs.RO
2026-09-28
清华Leap Lab对照发现：WAM推理丢掉未来表征会在扰动、少样本、新任务三轴掉点。Simple-WAM对纯噪声未来只跑一步，LIBERO-Plus 79.5对显式67.7，延迟74.7ms，约为显式3.8倍快。
World Action Model（WAM，世界动作模型）从视频生成模型初始化，训练时同时预测未来画面和动作。早期显式 WAM 推理时要把未来视频逐步去噪成干净帧，再让动作专家去读；视频 token 远多于动作 token，每个 action chunk 都要付一整轮视频去噪，闭环频率上不去。
后来的潜空间 WAM 训练时仍做未来预测，推理时把未来视频 token 整段丢掉，只对当前帧跑一次视频专家。匹配骨干、数据和预算时，分布内成功率几乎打平：显式 97.75，潜空间 96.85。于是有工作主张未来建模只是训练目标，部署不必生成未来。
WAM 被推崇的是泛化：换光照和布局、演示砍到很少、以及看一段无动作视频去做没见过的任务。把这三轴放进同一套对照，分布内打平推不到泛化打平。动作专家读不到未来表征之后，三轴一起掉。
骨干对齐 Fast-WAM：Wan2.2-5B 视频 DiT，加上从它插值出来的 1B 动作专家。显式和潜空间的唯一结构差别，是注意力掩码是否允许动作 token 看见未来视频 token。动作 chunk 长度 H=32，每 chunk 9 帧，推理 K=10 步。
推理时必须让动作专家读到未来表征。LIBERO-Plus 七种扰动上，显式 67.72、潜空间 53.75；每任务 10 条演示时 96.95 对 88.50。把无动作标签的任务视频只喂给视频分支，显式从 6.25 拉到 69.90，潜空间只从 2.10 到 5.90。没有未来表征，从无动作视频里学新技能这件事几乎不成立。
未来也不必生成干净。把已训好的显式模型视频专家只跑前 tdenoise 步，后面动作步读冻结特征。tdenoise=1 且 τ=1（未来位置是纯高斯噪声）时，已经比潜空间高出 26.44、8.2、13.4、89.8；后面九步去噪最多再动 -1.62 到 +1.8。增益来自把未来槽位准备好，不来自把未来画面画出来。
Simple-WAM 按这个结论改了两处，不加模块、不加损失。推理时未来视频 token 保持纯噪声，视频专家只前向一次，这份特征供给全部 K 步动作去噪，代价是 Cvid+K Cact。训练时以概率 p=0.5 直接采样 τ=1，其余仍走原 schedule：推理只看 τ=1，原显式训练几乎不在这一点花钱，混合用来补上错配。p=0 退回显式错配，p=1 离开视频骨干的预训练目标，两端三轴平均掉到 90.8 和 88.6；p 从 0.25 到 0.75 只差 1.3 分。
把未来 token 换成可学习 query 或全零、视频扩散损失照留，三轴平均从 94.2 掉到 52.7 和 54.9。噪声 token 是视频骨干预训练时见过的输入，query 和零不是。
无具身预训练的一组里，LIBERO-Plus 加权平均成功率如下。
| 方法 | LIBERO-Plus | 任务泛化 无/有视频 | 每 chunk 延迟 |
| FastWAM（潜空间） | 53.8 | 2.1 / 5.9 | 62.0 ms |
| FastWAM-Joint（显式） | 67.7 | 6.3 / 69.9 | 286.9 ms |
| Simple-WAM | 79.5 | 10.1 / 73.6 | 74.7 ms |
带大规模具身预训练的 π0.5 在扰动轴上是 84.4，Simple-WAM 落后 4.9。Fig. 4 把四轴泛化平均成功率放在一起：Simple-WAM 65.1，显式 60.2，潜空间 37.6，π0.5 48.7。少样本上 Simple-WAM 的 LIBERO 5-shot / 10-shot 为 92.4 / 97.2，与显式接近；RoboTwin 10-shot 为 37.2，潜空间掉到 4.8。RoboTwin 任务泛化是 6.2 对显式 5.4（无视频）、44.5 对 47.3（有视频），主表八项里显式赢的那一项。
延迟在一块 RTX 5090 上按各自去噪设置测：Simple-WAM 每 chunk 74.7 ms，显式 286.9 ms，慢 3.8 倍；潜空间 62.0 ms，差 12.7 ms。
真机是 AgileX Aloha 双臂，四项训练任务各 200 条演示、每项 30 次评估。分布内三家相差不超过 2.3 分。光照、布局、背景扰动下潜空间掉到 25.2，Simple-WAM 仍有 69.2；演示减到每任务 50 条时 69.6 对潜空间 37.2。留出任务 Store in Order 加上无动作视频后，Simple-WAM 从 2.2 到 87.8，显式 68.9，潜空间 10.0。
已经在训 WAM 的人可以把「推理必须画出干净未来」这条默认假设拿掉。视频去噪跑满 schedule 是在为视觉保真度付钱，动作专家并不用那份干净画面。潜空间「训练监督、推理扔掉」会把泛化一并扔掉，分布内指标看不出来。
改动很薄：注意力掩码加上混合 τ，可以接到 Fast-WAM 式架构上。多付一次带未来槽位的视频前向，相对潜空间 +12.7 ms，相对显式快 3.8 倍。真机上同一分裂再现了。
这是机制澄清加一个很薄的修法，不是新骨干、不是新数据。有具身预训练的 π0.5 在扰动轴上仍高 4.9 分；完全没见过任务时三家都接近地板。
论文写明：结论建立在 5B 骨干、没有大规模具身预训练上，更大模型或加上具身预训练是否还成立是开放问题。
无动作视频时任务泛化还能做；完全没有任何该任务数据时只有 10.1，技能不是凭空长出来的。RoboTwin 有视频设定里显式 47.3、Simple-WAM 44.5，主表里输的那一项。真机四个任务、每项 30 次，方差不会小。相机扰动上 Simple-WAM 55.6，仍低于 π0.5 的 78.4。对照绑在 Fast-WAM 的结构掩码上，换 generate-then-act 或别的视频骨干有没有同样的「第一步就够」曲线，没有验证。