Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu
cs.RO, cs.CV
2026-08-27
Zero-WAM把人演示视频当任务说明书，配7.42万对人机轨迹和IFP训练目标，RoboTwin七个未见任务平均成功率46.95%，比最强视频-动作基线高29.5个百分点。
机器人跨任务零样本一直卡在任务怎么说清。语言经常说不满空间约束、中间态和时间结构；VLA 把任务塞进文本，测下来对未见任务仍然弱。人演示视频能直接给出场景该怎么演变，可成对的人机数据贵，模型还容易走捷径：看见过的任务，靠机器人历史和文本就能预测下一动作块，测试时把人视频晾在一边。
Zero-WAM 是因果视频-动作模型，同一套策略接受语言或人视频作为任务条件，自回归预测未来机器人视频块和对齐的动作块。视频分支做世界预测，动作分支当逆动力学，两者用 Mixture-of-Transformers 共享注意力、参数分开。骨干从 Wan-2.2-TI2V-5B 改成因果策略。人视频经 VAE 编码后沿高度轴做 RoPE 平移，避免和机器人多视角潜变量挤在同一坐标。
数据分两块。Task-diverse VA 从 AgiBot、OXE 等公开集按「动作×物体」重切任务，每个 epoch 采 6000 以上任务、约 40 万条轨迹，避免少数任务的重复遥操作占满预训练。HumanGen 用自动管线把这些机器人轨迹变成语义对齐的人操作视频：VLM 抽任务状态，图像编辑模型改第一帧，Wan 2.7 或 Kling 3.0 生成人视频，再用 VLM 打语义和物理分。最终 7.42 万对人机 ICL 对，覆盖 8.6 千个任务、45 种以上本体，含仿真和真机子集。
训练目标上，标准 next-chunk 预测对见过的任务太容易。In-context future chunk prediction（IFP）从当前机器人视频表示并行预测 K=4 个步长为 2 的未来视频块，且不直接看人视频，逼主分支把任务演化写进当前表示。推理时拆掉 IFP 头。预训练 15360 GPU 小时，Task-diverse VA 与 HumanGen 采样比 1:5。
RoboTwin 2.0 留 7 个未见任务，每任务 100 次闭环、3 个种子。
| 方法 | 七任务平均成功率 |
| WAN-Action（只在 43 个已见任务上训） | 10.98% |
| LingBot-VA | 17.45% |
| Zero-WAM | 46.95% |
七个任务全部领先。Place empty cup 84.87%，stack blocks three 仍难，但 Zero-WAM 是主对比里唯一非零（9.00%）。只在 43 个已见任务上加人视频、不做大规模预训练，平均也能到 36.36%。去掉 IFP 掉到 28.55%。把人视频遮掉、只保留任务均衡的机器人数据，文本条件变体仍有 39.44%，说明任务均衡采样本身就比 LingBot-VA 的原始分布更利于跨任务。
真机双臂 Franka、人视频条件、无语言：物体入盒 53.3%（LingBot-VA 语言条件 43.3%），三物体顺序操作 33.3% 对 10.0%，两桌腿插入 16.7% 对 0。
跨任务泛化被收成「部署时给一段人视频」，不必为每个新任务再采机器人示教、也不更新权重。HumanGen 证明人机配对可以从机器人轨迹自动合成，任务覆盖从现有手工集的几十到一百级拉到 8.6 千。IFP 是可复用的反捷径设计：辅助头只监督主表示，推理时丢掉。桌面操作上这条路已经能用，还没到仓库里随便指。
讨论节把范围限制在固定桌面操作，移动操作和更长程任务留待后续。HumanGen 的人视频是生成的，语义分和物理分过了仍可能有时序和接触误差，真机 ICL 只有 252 对。真机基线是语言条件的 LingBot-VA，不是同一套人视频条件，接口不对齐。Stack blocks three 仍只有 9%，长程组合远未解决。预训练算力 15360 GPU 小时，复现成本高。成功标准对 stamp seal 和 move stapler 做了微调，作者称对所有方法一视同仁，仍是评测细节。