World Action Modeling with Progressive Visual Planning
Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar
cs.AI, cs.CV, cs.RO
2026-10-02
ProWAM 用进度子目标生成动作，LIBERO-Plus 85.8%，随机RoboTwin 75.7%，真机70%。
世界动作模型（WAM）用视频生成模型里的动态先验来出动作。full-imagination 先滚完未来视频再生成动作，近处轨迹细，视频骨干却要多步去噪，长程闭环负担不起。zero-imagination 在推理时不用预测画面。ImageWAM 只把动作视界的末端帧交给策略。末端帧给出终点长什么样，从当前画面走过去的路径没有约束。示教长短不一，绝对帧号换一个执行阶段就对不齐。子目标得按相对当前观测的进度来取。
ProWAM 把单个终点换成一组稀疏视觉子目标，用相对进度 r 来索引。当前观测记为 0，剩余示教的终点记为 1。子目标取这两点之间指定比例上的最近帧，再用预训练 VAE 编成潜变量槽位。每次重规划都把最新观测重置为 r=0，计划跟着执行往前移。
槽位接在视频潜变量后面，和视频帧共用权重与位置编码。r 经过正弦编码和 MLP，变成自适应 LayerNorm（adaLN）的偏移，加到 flow matching 的时间步调制上。flow matching 学的是把噪声推向数据的速度场。训练时 k 在 1 到 4 之间均匀抽取。推理可以改子目标个数和进度区间，结构保持不变。
骨干是 Wan2.2-TI2V-5B。视频专家与动作专家共用注意力头，用掩码限制可见性。子目标可以互看，并看当前帧。动作只看当前帧和子目标。视频专家不接收动作，视频通路因此能先在无动作视频上预训练。动作条件只有当前帧和子目标，不包含稠密未来帧。
第一段只训练视频专家，数据是大规模机器人视频和第一人称视频，同时学短时动态和按进度预测子目标。第二段在机器人示教上联合微调。动作块使用独立的 flow matching 时间步，子目标与视频共用时间步，条件来自子目标特征。每个重规划步只做一次视频前向，缓存子目标键值，供后续动作去噪反复读取。视频专家前向从 T 次降到 1 次。
域内 LIBERO 接近饱和。ProWAM 为 98.8%，不做视频预训练的 ProWAM-Base 与 Being-H0.7 都是 99.2%。零样本 LIBERO-Plus 上，ProWAM 为 85.8%，高于 StarVLA 的 83.1% 和 Being-H0.7 的 80.5%，Base 为 80.3%。视频预训练对应 5.5 个点。
RoboTwin 只用干净示教微调，再在随机化场景测试。ProWAM 干净场景 85.8%，与 ImageWAM 的 85.0% 接近。随机场景 75.7%，MV-WAM 为 55.7%，绝对差 20.0 个点，相对差 35.9%。同一随机列上 ImageWAM 为 37.6%，Fast-WAM 从干净场景的 71.9% 掉到 6.3%。去掉视频预训练后，随机场景降到 67.4%，干净场景为 87.6%。干净场景没有上升，随机场景高出 8.3 个点。
| 设置 | ProWAM | 对照 | 对照结果 |
| LIBERO-Plus | 85.8% | Being-H0.7 | 80.5% |
| RoboTwin 随机 | 75.7% | MV-WAM | 55.7% |
| RoboCasa365 总分 | 48.1% | Paimon-0 | 58.1% |
| 真机零样本 | 70.0% | DreamZero 14B | 55.0% |
| 推理计算 | 18.7 TFLOPs | 联合去噪 | 115.5 TFLOPs |
RoboCasa365 总分 48.1%，表 3 公开方法中排第 4，比榜首 Paimon-0 的 58.1% 低 10.0 个点。Atomic-Seen 为 76.0%，接近 78.7% 到 80.2%。Composite-Seen 为 46.5%，低于前几名的 55.8% 到 57.4%。Composite-Unseen 为 18.2%，低于 Phasor-m7 的 31.5%、Xiaomi-Robotics-1 的 32.1% 和 Paimon-0 的 36.7%，高于 ABot-M0.6 的 7.9%。摘要与表 3 写的是第 4。引言和 4.2 节写成总体第二，未见组合也写成第二，与表格冲突。
真机不采目标场景的示教，在 DROID 上训练后零样本部署到 Franka。任务覆盖抓放、多物体装配、接触式放置和空间约束放置。5B 的 ProWAM 平均 70.0%，3B 的 π0.5 为 50.0%，14B 的 DreamZero 为 55.0%，绝对差 15.0 个点。空间放置一项为 100%，正文没有给出该项的基线分数。
测量平台是单张 H100，动作块长度为 16。联合去噪需要 115.5 TFLOPs 和 581 ms。子目标缓存降到 18.7 TFLOPs 和 313 ms，计算少 84%，延迟少 46%，该对比中随机成功率高 3.3 个点。k 从 1 增到 4 只多 3.5 TFLOPs。k=4 时随机成功率为 75.7%，k=1 已有 73.8%，计算量 15.2 TFLOPs。相近算力下 Fast-WAM 为 6.3%（13.2 TFLOPs）。进度越近越好。r 处于 0.1 到 0.5 时为 75.7%，0.3 到 0.7 时为 70.2%，0.5 到 0.9 时为 68.4%，域内都在约 86%。近处比远处高 7.3 个点，大于子目标从 1 个增到 4 个的 1.9 个点。
5B 视频骨干每个重规划只前向一次，开销靠近已有缓存的 WAM。无动作视频学视觉计划，示教只负责接到动作上。
单个近处子目标已到 73.8%，加到 4 个只多 1.9 个点。进度区间的影响更大，近处比远处高 7.3 个点。视觉随机化和新场景真机有两位数的绝对差。Composite-Unseen 仍是 18.2%，长程组合没有同步改善。
失败的子目标里两块方块糊在一起，夹爪提前张开，方块落在偏心位置。纹理误差还能执行，接触几何错了就会放错。子目标来自单次前向，画面本身模糊，不追求像素级重建。动作直接以这些特征为条件，没有单独的几何检查。
313 ms 测自 H100。真机控制频率和每项任务的试验次数，正文都没有给。70% 是四类任务的平均。空间放置的 100% 缺少分项基线，看不出优势落在哪一类。
表 3 中总分和 Composite-Unseen 都排第 4。18.2% 离第三名 31.5% 仍有明显空档。引言里的平均绝对提升 11.4 个点，没有给出被平均的项目。主表能直接相减的差距，是 LIBERO-Plus 相对 Being-H0.7 的 5.3 个点，以及随机 RoboTwin 相对 MV-WAM 的 20.0 个点。无动作预训练的数据规模，以及这些视频里的轨迹终点如何定义，正文没有说明。