InternW0-$Δ$: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
Xingyu Miao, Zizun Li, Baole Fang, Kaiwen Song, Tenghui Wang, Hanxue Zhang, Yating Wang, Xudong Li, Yuping He, Xueyuan Wei, Chao Gao, Xijie Yang, Yingxiang Xu, Kerui Ren, Wenqi Guo, Jianjun Zhou, Xinzhe Wang, Weiguang Zhao, Ni Yang, Zetao Cai, Yufei Xue, Hengjie Li, Zeyu He, Yuanzhen Zhou, Rong Fu, Jianyang Zhang, Siwei Cui, Fuxian Huang, Yunsong Zhou, Xing Gao, Yifei Yao, Qiaojun Yu, Kailin Li, Ming Zhou, Mu Huang, Xinyue Li, Wenze Cui, Bingqi Jiang, Xueyue Zhu, Junting Dong, Haoyu Guo, Tao Lu, Mulin Yu, Bowen Zhou, Bin Zhao, Tianfan Xue, Weinan Zhang, Chunhua Shen
cs.RO, cs.CV
2026-09-25
用约两万小时开源异构数据预训练世界动作模型，LIBERO-Plus分布偏移成功率达到92.8%，推理阶段不必再滚出未来视频。
World Action Model（WAM）同时学视觉动态和机器人动作。视频预训练知道场景会怎么变，但「会预测下一帧」推不出「现在该怎么动」。很多 WAM 推理时还要滚未来视频，延迟吃不消。另一边，开源具身数据来自不同本体、控制空间、相机和帧率，直接混训会把同一维动作写成不同物理量。
上海 AI Lab 的 InternW0-Δ 要做的是：把预测动态变成动作头能直接用的表示，推理不再采样未来视频，并用一份规范状态-动作把两万小时量级的开源异构数据喂进去。
骨干是 30 层有向 Mixture-of-Transformers：视频专家来自 Wan2.2-TI2V-5B，动作专家是 ActionDiT。冻结 VLM 给动作头场景语义，T5 只给视频专家保留原视频模型的语言条件。视觉上下文是稀疏记忆：开局锚帧、上一动作块之前的近帧、当前帧，避免堆密集历史。
Causal Imprint 是核心接口。一组可学习 token 只看近帧和当前帧，训练时用未来干净视频潜变量的相邻差分做监督，并与视频专家更深层的未来特征做余弦对齐。注意力掩码禁止这些 token 和动作 token 读到真实未来。推理时视频专家预填一次，缓存 A/R/C/Δ 的 KV，动作头单独做 flow matching 去噪。动作块长度 32，规范动作维 80。
几何侧用冻结 Track4World 教师做训练期蒸馏（1430 维 clip 描述子，离线缓存），推理丢掉教师和学生分支。数据上，机器人演示、UMI、自我中心人体、Ego2Robot 被写进同一套语义槽；关节动作用绝对目标，末端动作用相对增量。过滤后机器人数据约 1.13 万小时，UMI 约 2075 小时，自我中心约 4061 小时。先大规模联合预训练（约 24.5 万步、14 天），再按本体后训练。真机端训练期 RTC 把块边界动作跳变比压到 1.12，相对 VJP 的 8.94 和硬前缀的 7.13。RTX 5090 上观测到的往返延迟 152.8 ms，相对未优化运行时快 5.11 倍。
后训练只用未扰动演示，评测走官方分布偏移。
| 基准 | InternW0-Δ | 最强对照 |
| LIBERO-Plus 总成功率 | 92.8% | Qwen-RobotManip-Context 91.4%；WAM 里 Being-H0.7 84.8% |
| RoboTwin Clean2Random | 71.9%（Clean2Clean 90.0%） | Qwen 69.4%；OpenWAM-α 48.7% |
| EBench 总分 / 成功率 | 66.0 / 49.2% | OpenWAM-α 64.7 / 49.4% |
| RoboDojo 平均成功率 | 23.91% | OpenWAM-α 11.92%；VLA 里 DM0.5 约 19.3% |
LIBERO-Plus 上机器人扰动 91.1%，此前最好 87.4%。EBench 长程任务成功率 49.4、分数 76.5，都是表内最高；总成功率略低于 OpenWAM-α 的 49.4%，总分反过来领先。RoboDojo 仍难，23.91% 相对最强先验 WAM 接近翻倍，绝对水平仍然低。
从零训的 LIBERO-Plus 消融：基线 49.59% → 加稀疏记忆 53.47% → RynnBrain1.1-2B 到 69.08% → Causal Imprint 70.80% → 对齐损失 76.45% → 4D 蒸馏 78.37%。主表 92.8% 是预训练后再训练的结果，两套数字不要混。
真机四个平台（夹爪 AC-One / Arx5，灵巧手 Franka+XHand / 天机+无极手）共用同一预训练权重。AC-One 上烤面包 4/20→19/20，Luminol 反应 0/20→19/20，预训练的贡献在这两项上非常大。论文没有给出全部 11 个真机任务的完整成功率表。
WAM 这条线的实际问题是：视频先验很贵，推理时再滚一遍未来更贵。Causal Imprint 把「未来会怎么变」印进当前可观测表示，动作头不必想象视频。规范 80 维动作加上过滤索引，是这篇更可能被复用的工程资产。LIBERO-Plus 上相对最强 VLA 只多 1.4 个点，这是渐进；RoboTwin 随机化和 RoboDojo 上对先前 WAM 的拉开更明显。
自我中心人体数据占预训练很大一块，换源、换比例、换监督形式对下游有多大影响，没有系统扫。Agent 辅助控制只做了有限纠错，没有调用策略和分层规划。EBench 总成功率没有超过 OpenWAM-α。RoboDojo 平均 23.91%，记忆和开放指令仍然弱。真机全面数字不全，预训练消融只报了两个 AC-One 任务。作者自称 2 万小时以上处理后数据，表 2 三块过滤后相加约 1.74 万小时，口径要以表为准。