InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
Jisong Cai, Yao Mu, Ganlin Yang, Zhe Cao, Zhangzheng Tu, Xing Gao, Kailin Li, Xinyu Zhan, Lixin Yang, Yangkun Zhu, Haoxiang Ma, Ming Zhou, Qiaojun Yu, Yufei Xue, Liqun He, Yifei Yao, Yifan Zhu, Long Ling, Bingqi Jiang, Haoyu Guo, Xueyue Zhu, Bowen Zhou, Bin Zhao, Tianfan Xue, Chunhua Shen, Weinan Zhang
cs.RO, cs.AI
2026-09-23
上海AI Lab的物理世界模型InternW0用异步视频-动作专家在约7200小时数据上预训练,LIBERO成功率98.6%,十五步MOF真机实验进度68.4%。
世界动作模型要把「下一帧会长什么样」和「下一步该怎么动」绑在一起。现有WAM多数同步跑昂贵的视频预测和快速动作生成,异构机器人、力觉触觉也接不进去。环境还在变,预测必须来得及改动作,否则只是事后看热闹。
InternW0是上海人工智能实验室InternW系列的第一版,三条硬约束:全模态接口、异步多频率、在部分观测和外部扰动下做局部物理建模。
结构是mixture-of-transformers:高容量视频专家预测未来画面,轻量动作专家按更快节拍出连续控制,两边用flow matching训。视频侧冻结Wan VAE和DINOv3,语言用预计算文本嵌入。视频专家不吃机器人动作token,预测表示跨本体共享;动作专家读视频上下文、最新观测、本体状态和域接口。
关键是异步复用。视频专家低频出一版未来,把各层K/V缓存下来。动作专家每个chunk用当前观测当query,经chunk K/V editor改写这份缓存:先检索预测表示,再把检索结果投回原视频token位置,预测残差ΔK/ΔV,门控后加到缓存上。底层视频上下文不变,每个动作chunk看到的是按最新观测编辑过的视图。残差投影零初始化,编辑器从恒等映射开始学。
跨本体用域级soft prompt和37维统一动作/状态接口,缺失通道用validity mask。预训练目标是视频flow matching,有动作标签时再加联合损失。训练时另开一条independent-denoising条件视频流,K/V不detach,动作损失会回传到视频专家。接触密集任务的后训练把力/触觉历史接到动作侧,联合预测未来六维wrench。
数据约7234小时、81万episode、25个域:InternData-A1模拟3494小时,AgibotWorld 2620小时,加上RoboCOIN、Galaxea、MolmoAct、RoboDojo,以及自采EgoLab 275小时湿实验第一人称视频。域采样按有效锚点数量的平方根加权。
LIBERO四套平均成功率98.6%,Spatial 99.4%,Long 97.0%,略高于LingBot-VA的98.5%。RoboTwin 2.0 Full平均93.12%(干净93.20 / 随机93.04),低于ABot-M0.5的94.10,高于AHA-WAM的92.80。更能说明问题的是Clean2Random:只在干净演示上后训练,随机场景仍有68.0%,平均75.60,比GigaBrain-0.7高8.3个百分点。小数据消融里,50小时机器人数据再加50小时EgoLab,随机场景从13.73%升到21.97%。
真机15次试验:
| 任务 | π0.5 | Fast-WAM | InternW0 |
| 做三明治 | 73.3 | 40.0 | 73.3 |
| 工业零件分拣 | 53.1 | 50.6 | 82.7 |
| 按指令分试管 | 86.7 | 66.7 | 88.9 |
| 15步MOF配液进度 | 50.2 | 10.7 | 68.4 |
| 5步定量移液进度 | 46.7 | 18.7 | 65.3 |
MOF上π0.5从第8步掉到46.7%,第11步以后只剩6.7%;InternW0撑到第12步仍有66.7%,卡在最后按搅拌器按钮(26.7%)。移液的接触子任务全面高于基线,抓取重定向86.7%,低于π0.5的93.3%。关键路径动作延迟60.73ms,约16.47Hz,比Fast-WAM快3.13倍。
这是把WAM从仿真刷榜往实验室多步科学操作推的一版。异步K/V复用把视频预测移出控制关键路径,力觉后训练对着接触任务。已经在跑π0或WAM的团队,更该看chunk K/V editor和37维接口这套工程,不一定要复现整套7200小时配方。LIBERO和RoboTwin Full已经卷到98%/93%,真正拉开的是Clean2Random和湿实验进度。
作者规划里还要补触觉、几何、分层时域,模型也要压到约4B乃至1B以下,但没公布当前InternW0参数量。RoboTwin Full仍低于ABot-M0.5。干净到随机仍有15.2个百分点落差。真机只有15 trial,MOF最后按按钮26.7%,毫米级精度没解决。力/触觉只在后训练接入,预训练仍是视-动作。EgoLab只有视频监督,没有动作标签。和InkStone、Intern-S2的科学闭环写了方向,本文没有把「推理模型出方案→InternW0执行」的端到端成功率报出来。