Native Action-Prior Learning from Videos for World Action Models
Zhaochong An, Fei Zhang, Menglin Jia, Duncan Frost, Zijian Zhou, Yikai Wang, Xudong Wang, Aditya Patel, Belinda Zeng, Tao Xiang, Serge Belongie, Amir Bar, Sen He
cs.CV, cs.RO
2026-10-02
无动作视频的未来帧损失直接训练动作网络，示教再对齐控制。RoboTwin随机域成功率73.6%，真机十五次成功十四次。
世界动作模型（world action model，WAM）把下一帧画面和机器人动作放在同一个模型里学。它要扩规模，卡在带动作标注的轨迹上：采集贵，换一支手臂就难共用。没有动作标签的操作视频多得多，接触前后物体怎么动，画面里已经有了。
现有两条路都隔着一层。视觉表征路线把视频知识留在编码器里，动作策略要等下游示教再接上去，动态到控制是间接的。隐动作路线从相邻帧抽出一个中间变量，再接地到真实指令，还得加约束，免得这个变量直接抄下一帧，中间空间的表达力跟着变窄。NAVA-WAM 去掉这层接口，用未来帧预测的损失直接改动作网络自己的参数。
模型是 Mixture-of-Transformers，两套参数，注意力打通。Video-DiT 从 Wan2.2-5B 初始化，负责视觉动态。Action-DiT 约十亿参数，隐藏维度 1024，负责连续动作块。两路只在注意力里交换键值。
预训练不看任何机器人动作。视频来自 Open X-Embodiment、AgiBotWorld 和 EgoDex，235790 条片段、1054.3 小时，切成约 141 万段。冻结的时空 VAE 把每段编成潜变量，相邻两块算一次状态转移。Video-DiT 和 VAE 全程冻结，128 张 GPU 上训练 14000 步，只更新 Action-DiT。
每一段有三组 token：干净的前一状态、加噪的未来状态、动作 token，段与段之间互不可见。动作 token 同时读到前一帧和加噪未来帧，转移留在动作网络内部，不另写成隐动作向量。加噪的未来帧也会读这些动作 token。未来画面用 flow matching 训练，拟合的是把噪声沿直线搬回数据的速度场，梯度就从这条注意力进到 Action-DiT。动作侧喂的是纯噪声，没有动作标签。未来帧只给加噪版本，用来拦住把干净目标原样抄出去的捷径。
后训练才见到带动作的示教。前面先做目标域 cold start：只用该域视频更新 Video-DiT，Action-DiT 保持冻结，不加新的动作监督。然后两路联合做 flow matching，视频损失和动作损失的权重都是 1。注意力改成不对称，视频查询只看视觉流，动作查询仍看两边，视频键值就可以缓存。推理时先做一次联合前向并记下键值，之后只在 Action-DiT 里给动作去噪，不再画出未来视频。仿真里动作块长度为 16，用 10 步欧拉法积分。
LIBERO 每任务 50 条示教，40 个任务共 2000 条，每任务评测 50 次。NAVA-WAM 平均成功率 99.0%，长程套件 LIBERO-Long 也是 99.0%。π0 的长程成功率是 85.2%，四套件平均 94.1%。π0.5 的四套件平均是 96.9%。分布内剩下的空间已经很小。
LIBERO-Plus 把同一批任务扩成 10030 个只测不训的扰动实例，扰动覆盖布局、相机、初始状态、语言、光照、背景和传感器噪声。NAVA-WAM 宏平均 83.5%，Image-WAM 83.1%，π0 53.6%，π0-FAST 61.6%，Fast-WAM 51.5%。机器人初始状态、语言、物体布局三项分别是 65.6%、93.8%、87.1%，这三项最高。相机、光照、背景和噪声上，Image-WAM 更好。
RoboTwin 2.0 是双臂任务，只在 Clean 域训练，每任务 50 条、共 2500 条，Random 域示教一条不用。NAVA-WAM 的 Clean 成功率为 88.5%，Random 为 73.6%。Clean 比最强的 Image-WAM（85.0%）高 3.5 个点，Random 比最强的 MV-WAM（55.7%）高 17.9 个点。50 个任务里，Random 最好或并列最好的有 44 个，Clean 有 32 个。
| 方法 | 设置 | 成功率 |
| π0 | LIBERO / LIBERO-Plus | 94.1% / 53.6% |
| π0.5 | LIBERO | 96.9% |
| Fast-WAM | LIBERO-Plus | 51.5% |
| Image-WAM | LIBERO-Plus | 83.1% |
| NAVA-WAM | LIBERO / LIBERO-Plus | 99.0% / 83.5% |
| Image-WAM | RoboTwin Clean / Random | 85.0% / 37.6% |
| MV-WAM | RoboTwin Clean / Random | 84.0% / 55.7% |
| NAVA-WAM | RoboTwin Clean / Random | 88.5% / 73.6% |
| π0.5 | Franka FR3，15 次 | 53.3%（8/15） |
| DreamZero | Franka FR3，15 次 | 66.7%（10/15） |
| NAVA-WAM | Franka FR3，15 次 | 93.3%（14/15） |
真机是 Franka FR3。策略先在 DROID 上后训练，约 7.6 万条遥操作，三个桌面任务不再微调，各测 5 次。NAVA-WAM 成功 14 次。香蕉放进盒子，三家都是 5/5。把方块放到碗的左边，NAVA-WAM 是 4/5，π0.5 和 DreamZero 都是 0/5。对照的 10 次都抓住了方块，然后放进碗里、停在碗上方，或放到右边。叠方块上 NAVA-WAM 与 DreamZero 为 5/5，π0.5 为 3/5。单张 H100 每次调用，π0.5 用 195.7 毫秒，NAVA-WAM 用 379.2 毫秒，DreamZero 用 3523.9 毫秒。每个动作块 4.30 TFLOPs，Image-WAM 为 4.09，Fast-WAM 为 3.56，HALO 为 67.69，而 HALO 的 Random 成功率只有 26.4%。
无动作预训练的对照走同一套 RoboTwin 协议，50 条时的 73.6% 与主实验的 Random 一致。每任务 10、25、50 条示教：不做预训练是 60.5%、67.6%、69.7%，表征预训练是 58.2%、60.6%、68.1%，隐动作预训练是 61.6%、65.0%、71.2%，NAVA-WAM 是 66.5%、72.0%、73.6%。25 条拿到的 72.0%，已经高于对照在 50 条上的最高成绩 71.2%。岭回归把特征拟合到真实动作，探针数据用满时 R² 为 0.329，表征路线 0.153，CoMo 隐动作 0.203，DynaMo 0.154。无动作语料从空加到全量，10 条示教的 Random 成功率从 60.5% 升到 66.5%，50 条从 69.7% 升到 73.6%。
动作网络在见到任何机器人动作标签之前，参数已经被未来帧损失改过。下游不用再把视觉编码器或隐动作翻译成控制指令。示教仍然需要，目标域视频的 cold start 也需要。省下的是同一标签预算下的泛化。相对隐动作路线，10 条示教高出 4.9 个点，25 条高出 7.0 个点，50 条只高出 2.4 个点。
推理不生成未来视频。一次调用 379.2 毫秒，约是 π0.5 的两倍，约是 DreamZero 的九分之一。LIBERO 分布内从 π0 的 94.1% 到 NAVA-WAM 的 99.0%，空隙已经很小。拉开的是 RoboTwin 随机域那 17.9 个点。这仍是联合 WAM 内部的改进，买到的主要是分布外成功率，外加一份还能闭环跑的延迟。
正文没有单独的局限小节。附录里的失败出在接触上。Move Can Pot 中，手臂把罐子碰倒，夹爪是空的，仍继续把搬运做完，直到步数用尽。Hanging Mug 中，左手把杯子放在架子旁，右手没有挂上去。物体和阶段认对了，精细抓取失手之后不会重试。
真机只有 3 个任务、15 次试验。开环长度也没对齐。NAVA-WAM 预测 32 步绝对关节位置，执行前 24 步。DreamZero 预测并执行 24 步绝对动作。π0.5 预测 24 步相对动作，只执行前 8 步。三者都是 15 Hz，单次试验上限 1000 步。93.3% 相对 66.7% 和 53.3% 的差距里，有多少来自更长的开环，实验没有拆开。
1054.3 小时的预训练视频仍是操作数据，包括去掉动作标签的机器人轨迹，以及自我中心的灵巧手视频，范围停在这类交互上。R² 0.329 高于对照，这些特征离可以直接执行还远。主表不少基线引自原论文，同一协议下重跑的是标签效率那一组，分布外的幅度以那组更可信。LIBERO-Plus 平均只比 Image-WAM 高 0.4 个点，四类视觉扰动还落后，抗扰动谈不上全面占优。附录的高斯分析只说明加噪能挡住抄答案，没有检查真实网络里还有没有别的捷径。