Agentic World Action Models
Zhuoyang Liu, Dantong Niu, Botong Zhang, Boning Shao, Jing Wang, Ruijie Zheng, Yuvan Sharma, Runyu Lu, Jiaming Liu, Renrui Zhang, Roei Herzig, Yutong Bai, Ken Goldberg, Danfei Xu, Yuke Zhu, Guanzhi Wang, Linxi "Jim" Fan, Trevor Darrell
cs.RO
2026-10-22
AW-0在一个骨干里联合生成技能代码、未来视频和动作。RoboTwin干净成功率80.8%，八个真机任务rubric均分71.1，比最强基线高25.1分。
世界动作模型（WAM）把未来画面和动作一起生成，出力前先预测物体运动和接触。长程任务还要决定调哪个技能、参数怎么填、子任务怎么串起来。视频和动作块给不出这层结构。
Code-as-Policies 用程序写出该结构，负责选技能、绑定场景、跟踪进度，失败后再规划。程序位于策略之外，调用的是写好的原语，没有学过的物理动态。
AW-0 把技能代码、未来视频和机器人动作放进同一次生成。代码在模型内部做计划，检查通过后也可以执行。
三个专家构成 Mixture-of-Transformers，分管代码、视频和动作。各自保留注意力投影与前馈层，靠联合注意力通信。跨专家的掩码按代码、视频、动作排列：后两路读代码，动作再读视频。
代码专家从 SDAR-1.7B 初始化，冻结词嵌入、层归一化、前馈和词表头，只训练注意力投影和调制参数，视觉分支用冻结的 Qwen3-VL ViT。程序 token 按比例被掩盖，损失只算被掩盖的位置，这是 masked diffusion。视频专家从 Cosmos-Predict2.5-2B 初始化，未来帧经过冻结的 Wan2.2 VAE，再用 flow matching 预测速度。动作专家从零开始，预测动作块的速度场。真机使用 64 维，每侧为 9 维末端位姿、22 维手指和 1 维夹爪，空闲维填零。视觉分支若改用 VAE 特征，八任务平均 rubric 从 71.1 降到 55.6。
自回归在推理时使用自己生成的前缀，错误会进入后面的视频。联合去噪让三路共用 4 步，代码画布为 128 个 token，每步揭开置信度最高的部分。视频噪声在预训练分布之外对半混入均匀分布。默认只执行动作块，代码充当计划；历史计划进入 memory slot。混合模式在重规划点检查代码，通过则调用原语，否则采用同一次前向的动作块。
Gemini 3.1 Pro 按只有声明的原语 API 为抽样演示写程序，Claude Opus 4.8 把重复动作收成技能并冻住库，接触和运动模式相符就复用。预训练 2913.2 小时，YAM 双臂遥操作 1919.3 小时，第一人称人类操作 993.9 小时，技能 50 个，机器人 23 个、人类 27 个。下游沿用该库，真机每任务 100 条演示，训练 20 个 epoch。
RoboTwin 2.0 含 50 个双臂任务，每任务 50 条干净演示做后训练，评测 50 次。Clean 不加入干扰；Random 随机背景、纹理、光照、桌高和干扰物。基线为 π0.5、EgoScale、DreamZero、WLA。默认 AW-0 与基线共用任务演示，仿真混合配置除外。
| 方法 | Clean | Random | 平均 |
| π0.5 | 54.9 | 27.7 | 41.3 |
| DreamZero | 33.6 | 17.6 | 25.6 |
| EgoScale | 26.2 | 2.9 | 14.5 |
| WLA | 64.8 | 3.6 | 34.2 |
| AW-0 | 80.8 | 20.6 | 50.7 |
| AW-0 混合 | 63.1 | 29.2 | 46.2 |
干净场景达到 80.8%，高出 WLA 16.0 个点，平均 50.7% 为最高。随机化后为 20.6%，低于 π0.5 的 27.7%，高于 DreamZero 的 17.6%。混合执行的随机成绩为 29.2%，干净成绩为 63.1%。相对各自的干净成绩，混合保住 46%，默认保住 25%。仿真混合使用另一批由程序采得的演示。
真机有 8 个任务。YAM 以平行夹爪完成摆水果、装背包、换灯泡、叠毛巾；Tianji-Sharpa 以 22 自由度灵巧手完成钳子摆水果、发扑克、翻记分牌、解魔方。每任务 3 个种子各 16 次，初始位姿随机，分数按子步骤累加，是百分制 rubric。
| 方法 | 平均 rubric |
| π0.5 | 43.6 |
| DreamZero | 46.0 |
| EgoScale | 35.9 |
| WLA | 39.9 |
| AW-0 | 71.1 |
平均 71.1，比 DreamZero 高 25.1。摆水果 91.7，π0.5 为 70.8；翻记分牌 68.8，EgoScale 为 40.8；钳子摆水果 54.2，DreamZero 为 22.6。换灯泡上 DreamZero 为 67.4，已高于 π0.5 的 63.8，AW-0 为 75.0。叠毛巾上 π0.5 为 81.7，AW-0 为 84.4。叠毛巾的混合执行达到 90.6，动作块为 84.4。
去掉代码后平均降到 32.9，低于 DreamZero。联合去噪为 71.1，自回归为 54.5，八个任务中七个由联合去噪领先，换灯泡例外，自回归 79.2，联合去噪 75.0。RTX 5090 上无代码 0.19 秒，联合去噪 0.23 秒，自回归 0.55 秒，约为联合去噪的 2.39 倍。去掉技能函数后，发扑克从 58.3 降到 42.0。带注释的完整程序在八个任务上优于无注释代码，在七个任务上优于纯语言子目标。
把规划留在策略外面，上限由原语库决定。AW-0 让代码和视频、动作一起训练，默认输出仍是动作块。一次前向在 RTX 5090 上耗时 0.23 秒，比无代码多 0.04 秒。
混合执行允许在原语和动作块之间切换。叠毛巾上混合比动作块高 6.2。仿真的随机设定里它超过 π0.5，对应的训练演示是另一批。
听指令和组合技能是主要增益来源。叠毛巾上相对 π0.5 只多 2.7。视觉随机化之后，不走混合执行的成绩落在 π0.5 之后。
从 80.8 降到 20.6，论文归因为像素级分布外预测。仿真混合同时更换了训练集，多出的 8.6 个点不能单独归到执行开关，真机混合也只报告了叠毛巾。
技能来自 Gemini 3.1 Pro 写程序和 Claude Opus 4.8 蒸馏，50 个入口冻住之后不再增长。更弱的标注器、库没有覆盖的任务，都没有实验。基线用的是各自原来的预训练。
主结果不执行代码。语言跟随的改善来自联合去噪中的条件。文末所说的持续交互和自我改进没有实验。
64 维把手指关节和夹爪宽度拼在一起，空维填零。去掉某一类预训练数据后迁移还剩多少，论文没有做这组消融。真机用 rubric，仿真用成功率，两者不能直接对比。8 个任务、每任务 48 次 rollout，还盖不住长程失败的分布。