ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models
Xinye Li, Lingshuai Lin, Lei Wang, Liuzhou Zhang, Jialin Cui, Qingshan Li, Guanchu Wang, Qingbin Liu, Xi Chen, Jiang Bian, Wai Lam
cs.CV, cs.AI
2026-08-14
港中文与腾讯把双向视频生成器经四阶段训成1/2/4步因果世界模型。Minecraft上成像质量、键盘符号准确率、鼠标准确率都领先;1步吞吐72 FPS,回放精修接近4步质量。
动作条件视频世界模型要边看边控:离散键盘、连续鼠标按帧进来,还得少步去噪才能跟上操作。因果蒸馏能把视频生成压到一两步,可游戏控制必须在时间压缩的latent块里对齐。推理时模型吃的是自己生成的历史,步数一少,视觉误差、动作缓存和KV缓存一起进下一块,保真、可控和多块稳定绑死。
现成系统要么把控制收成相机轨迹,要么在干净历史上做教师强制,一到自回归就漂。ForgeWM要的是:把双向动作条件生成器改成少步因果学生,键盘鼠标接口全程不动。
初始化来自Matrix-Game 2.0。VAE四帧压成一个latent帧,三个latent一块对应12帧视频。离散动作走交叉注意力,窗口化连续动作与视觉特征融合后再做时间注意力。rollout时视觉、键盘、鼠标三套缓存同步更新。
四阶段递进改时间执行、训练目标和历史分布。
部署分两条路:在线用低步学生;交互结束后把保存的draft按ri=0.3再噪声,同一检查点做4次更新,精修已走过的轨迹,不从噪声重采。
Minecraft 77帧、共享首帧和操作。参考对齐指标1000条配对轨迹。
| 模型 | IQ↑ | LPIPS↓ | KCtrl↑ | Mouse↑ | FPS↑ |
| ForgeWM-1 | 0.6776 | 0.6529 | 0.9545 | 0.7848 | 72.10 |
| ForgeWM-2 | 0.6865 | 0.6171 | 0.9740 | 0.8268 | 50.31 |
| ForgeWM-4 | 0.6788 | 0.6168 | 0.9740 | 0.8102 | 32.47 |
| Matrix-Game 2.0 | 0.6282 | 0.6443 | 0.9156 | 0.7061 | 32.35 |
| HY-WorldPlay | 0.6133 | 0.6172 | 0.9286 | 0.5818 | 7.54 |
七个质量/控制列里ForgeWM占六列最好。质量不随步数单调,1步吞吐最高。41人、615次三选一,ForgeWM-4视觉68.8%、动作57.6%、时空55.6%,合计60.7%。冻结ForgeWM-1加步,方向控制稳定,多出来的步主要加运动幅度和延迟。回放精修LPIPS 0.6155,对标直接4步的0.6168,到draft的距离0.1970,从噪声重生成是0.6187。同一配方迁到手柄FPS,宏平均LPIPS 0.656,运动幅度比参考高1.45倍。
交互世界模型的产品形态是「边玩边出画,过后再修」。这篇把1/2/4步做成三个稳态工作点,回放精修复用在线检查点,不必另训修图模型。键盘鼠标没有收成相机位姿,对Minecraft类操作更直接。对照只有两个交互基线,主定量还在Minecraft,配方能迁、数字不能直接当跨游戏SOTA。
77帧窗口外,约3.5倍时长的rollout会慢慢丢方块结构、颜色伪影扩散,不宣称无限时域稳定。FPS迁移上运动过冲,幅度保真落后于方向保真。四步预算下Stage 3抬成像质量,配对LPIPS相对Stage 2没有再降,这一级的增量随指标而变。HY-WorldPlay控制参数不同,比较经过确定性适配器,运动尺度不可直接对齐。OOD泛化不在本评测范围内。