Rolling-WAM: World Action Models with Rolling Imagination
Yinghua Zhou, Junjie Ye, Yiqi Zhao, Hao Dong, Celina Shiyu Wang, Ruohai Ge, Tingyi Yang, Basile Van Hoorick, Gaurav Sukhatme, Vitor Guizilini, Yue Wang
cs.RO, cs.AI, cs.CV
2026-09-25
用交错噪声滑动窗口把视频-动作去噪摊到多个控制周期，LIBERO达98.1%，相对Joint-WAM稳态重规划快4.5倍。
World Action Model（WAM，世界动作模型）同时生成机器人动作和未来画面，让策略能根据「接下来场景长什么样」来出动作。闭环部署要求机器人每执行一小段就按最新相机观察重新规划。标准 Joint-WAM 每次重规划都把整段预测视野从纯高斯噪声去到干净，每一步还要过完整条视频-动作序列。延迟叠在控制环上，动作更新就变慢。
Fast-WAM 一类做法在测试时关掉未来视频，换来速度，同时丢掉明确的视觉想象。滚动时域控制每次只执行窗口最前面的 chunk，后面那截本来还能给当前动作当上下文，却被丢弃，下一轮再从噪声重做。去噪计算没有跨周期复用。
Rolling-WAM 把 Rolling Diffusion 接到联合视频-动作生成上。Rolling Diffusion 是一种序列生成调度：滑动窗口里越远的位置噪声越高，近处先被洗干净。预测窗口切成 W 个时间对齐的 chunk，每个 chunk 是一段视频潜变量加 K 步动作。默认 W=5、K=16，总视野 H=80 步。
每个重规划周期做三件事：
噪声怎么对齐：记 τ 从 1 降到 0 表示一个周期内的去噪进度，chunk j 的噪声为 σ((j-1+τ)/W)。第一块从 σ(1/W) 洗到干净，第 j 块从 σ(j/W) 走到 σ((j-1)/W)。窗口一滑，留下的块刚好处于新位置的起始噪声，这是计算能摊开的前提。稳态时每块总共仍走满 N=10 步，但摊在 W 个周期里，每个周期只需 2 步就能吐出下一段可执行动作。episode 开头没有半成品，另用 initialization schedule：整窗从纯噪声起步，近处先开始去噪，完成时噪声剖面接到 rolling mode。
架构是 Mixture-of-Transformers：视频专家从 Wan2.2-TI2V-5B 初始化，动作专家约 10 亿参数（30 层、隐藏维 1024），骨干权重从视频专家插值。VAE 和文本编码器冻结。注意力不对称：每个动作 chunk 能看整窗视觉特征，动作之间只允许同 chunk 互看，视频 token 不看动作。训练用 flow matching，学从噪声指向数据的速度场。rolling 与 init 两种噪声剖面按 0.8 / 0.2 抽样，同一套权重既能冷启动也能接着滚。没有额外具身预训练。
近处计划写实，远处留草稿，新观察来了再改。当前动作因此能看到一份还在成型的视觉未来。
对照覆盖 VLA 和 WAM。Rolling-WAM 没有额外具身预训练；π0、Motus、LingBot-VA 有。
LIBERO 四套任务、每任务 50 次 rollout：
| 方法 | Spatial | Object | Goal | Long | 平均 |
| π0 | 96.8 | 98.8 | 95.8 | 85.2 | 94.1 |
| LingBot-VA | 98.5 | 99.6 | 97.2 | 98.5 | 98.5 |
| Joint-WAM | 99.6 | 99.4 | 98.2 | 96.8 | 98.5 |
| Fast-WAM | 98.2 | 100.0 | 97.0 | 95.2 | 97.6 |
| Rolling-WAM | 98.2 | 98.0 | 98.2 | 97.8 | 98.1 |
平均比 Joint-WAM 和 LingBot-VA 低 0.4 个百分点。Long 套是 97.8%，高于 Joint-WAM 的 96.8%。
RoboTwin 2.0 五十个双臂任务、每设置 100 次 rollout：Rolling-WAM 在 clean 上 93.5%、randomized 上 93.0%、平均 93.3%，高于 LingBot-VA 的 92.2%、Fast-WAM 的 91.8%、Joint-WAM 的 90.6%。
延迟在单卡 NVIDIA A100、RoboTwin、384×320 上测稳态重规划，含视觉编码和去噪，不含初始化和 warmup，每周期执行 16 步动作。Rolling-WAM 215 ms，Joint-WAM 978 ms（约 4.5 倍），Fast-WAM 548 ms（约 2.5 倍）。同期 π0.5 为 296 ms，GR00T N1.7 为 285 ms。Rolling-WAM 每个周期还在维护 80 步未来，基线只预测 16 步。计时未使用 torch.compile 或 TensorRT。
真机 Unitree G1，三个任务合成一个策略，每任务 50 条示范、评测 20 次：
| 方法 | 放玩偶 | 叠盘子 | 倒珠子 | 平均 |
| π0.5 | 55.0 | 70.0 | 60.0 | 61.7 |
| GR00T N1.7 | 75.0 | 65.0 | 60.0 | 66.7 |
| Fast-WAM | 85.0 | 80.0 | 60.0 | 75.0 |
| Joint-WAM | 70.0 | 100.0 | 65.0 | 78.3 |
| Rolling-WAM | 85.0 | 100.0 | 70.0 | 85.0 |
窗口消融在六个 RoboTwin 任务上：W=5 时 78.2%，W=3 为 77.3%，W=8 掉到 69.5%。打开跨 chunk 动作注意力后，这六项落到 76.3%，LIBERO 从 98.1% 落到 97.9%。把 rolling 噪声换成随机剖面，RoboTwin 六项能到 78.5%，LIBERO 掉到 97.3%。
这是采样组织的改法，骨干仍是预训练视频 DiT 加动作 Transformer。Joint-WAM 那种明确的未来画面被留着，重规划延迟压到低于 Fast-WAM 和两条 VLA 基线。对已经在用联合视频-动作去噪、却被重规划延迟卡住的系统，这是可以叠上去的正交加速，也能跟模型压缩、蒸馏、异步上下文一起用。
真机平均 85.0%，比 Joint-WAM 的 78.3% 高 6.7 个百分点。论文观察到 chunk 边界更连续、停顿更少。LIBERO 上没有赢，只是贴着最强联合模型。默认绑在 N=10、W=5、每 chunk 16 步，视频专家是 5B 级 Wan，动作专家约 10 亿，复现成本不低。
论文自己写了：窗口和 chunk 大小还没在不同动力学、不同控制频率下系统扫过；即使有新观察，留下来的预测仍可能落后于快速变化的场景，长窗口更容易把动作带偏。自适应窗口和异步执行留作后续。
真机只有三个任务、各 20 次，85.0% 对 78.3% 的差距样本很小。RoboTwin 上 Rolling-WAM 反超 Joint-WAM，LIBERO 上低 0.4 点，没有解释完整重算为什么在双臂随机化场景里更吃亏。延迟是 A100、固定分辨率、未编译；到边缘机或编译之后，4.5 倍还剩多少不知道。消融里的 78.2% 只在六个任务上测，跟全量 50 任务的 93.5% 不是同一口径。