History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
Hangyi Kuang, Chengzhi Wang, Yefei He, Weijie Wang, Yuke Zhao, Zhuokun Chen, Zisu Huang, Yifan Yang, Xiaoxuan He, Feng Chen, Bohan Zhuang
cs.CV
2026-11-02
History Forcing 用教师在有无额外历史下的预测差,修正少步自回归视频的蒸馏目标。1.3B 学生 15 秒画质分 85.07,60 秒总分 79.82,画面外物体一致性从 58.43 升到 62.18。
少步自回归视频扩散按 chunk（一小段连续潜变量帧）往下生成,单段便宜,时间一拉长,主体外观和场景布局会跟着误差改掉。人或物体一旦出画,最近几帧里没有它们的信息,镜头转回来就对不上。世界模型把缺口放大:要维持物体恒存,得用上很早的观察。
DMD（用分数差把少步学生拉向多步扩散教师）配双向教师时画质监督强,打分却不看远处的自回归历史。直接蒸馏一个看过长历史的自回归教师,一致性和画质又绑在同一个分布上,教师的画质短板会压到学生。这个限制叫 history-quality coupling。
History Forcing 只改蒸馏目标。冻结的自回归教师对同一加噪 chunk 预测两次,差别只在有没有额外历史,近期上下文不动。两次分数或速度之差称为 context residual,再乘 λ 加到原目标上。
长视频仍用 DMD。双向教师取 Wan2.1-T2V-1.3B 的参考分数,修正量是 λ 倍历史残差。写法和 classifier-free guidance 相同,只搬历史这一个条件。学生贴近双向教师的分布,不必整份匹配自回归教师。默认 λ 为 1,只在扩散时间小于 750 时启用。
额外历史来自学生自己更早的 chunk,累积漂移更少。两次输入共享最近 6 个潜变量帧,带历史的一次再往前接 12 帧。这样残差反映的是更早的观察。每次更新只抽 1 个 chunk。学生从 Causal Forcing 的因果 ODE 初始化,按 Self-Forcing++ 训练 300 步,rollout 在 5 到 15 秒间采样,损失打在最后 5 秒。自回归教师原在 5 秒片段上训练,主结果再在 UltraVideo-Long 的 10 秒片段上微调。
画面外的变化不在学生旧帧里。教师从同一张起始图生成,相机固定在初始机位,用来补学生没看见的演化。少步模型不适合在任意噪声上当分数教师,因此改用 EMA 教师速度做自蒸馏,做法沿 OPSD-V,不另训跟踪学生样本的 fake score 网络。λ 为 1 时目标等于带历史的速度,这个设定就是改写后的 OPSD-V 对照。主结果取 λ 为 3。骨干是 DreamX-World-5B,LoRA 微调 100 步,监督打在回看段的 4 个去噪步上。训练集 200 张起始图,每张 4 条离开再返回的轨迹。
15 秒 VBench 上,无历史监督的同设置基线画质分 84.44,5 秒教师残差提到 84.82,10 秒教师微调后 85.07。表内 Infinity-RoPE 为 84.54,LongLive 与 Rolling Forcing 为 84.20。
一致性没有一并领先。10 秒教师版主体一致性 93.21、背景一致性 95.03,Rolling Forcing 是 95.61 和 95.80。动态程度 70.00,Rolling Forcing 只有 51.11。基线的动态程度还有 76.67。相对无历史的基线,外观更稳,动作被削掉一截。
60 秒不在训练长度内。rollout 最长 15 秒,评测生成 60 秒,VBench-Long 总分 79.82,高于 Rolling Forcing 的 79.22 和 LongLive 的 79.12。后两者 DMD 教师为 14B,这里是 1.3B。主体一致性 97.32、背景一致性 96.19,在 1.3B 组最高。5B 的 LongLive-2.0 为 79.90。动态程度 49.06,低于 Causal Forcing 的 72.32。美学分 58.06,低于 Rolling Forcing 的 63.50。60 秒对手数字取自 LongLive-2.0。
| 评测 | 方法 | 指标 | 结果 |
| 15秒 VBench | History Forcing,10秒教师 | Quality Score | 85.07 |
| 15秒 VBench | 同设置基线 | Quality Score | 84.44 |
| 15秒 VBench | Infinity-RoPE | Quality Score | 84.54 |
| 60秒 VBench-Long | History Forcing,1.3B教师 | Aggregate | 79.82 |
| 60秒 VBench-Long | Rolling Forcing,14B教师 | Aggregate | 79.22 |
| 60秒 VBench-Long | LongLive-2.0,5B | Aggregate | 79.90 |
| PlayWorld画面外 | History Forcing | Evolution Quality | 2.70 |
| PlayWorld画面外 | DreamX-World-5B | Evolution Quality | 2.35 |
| MemoBench Real | History Forcing | Object Consistency | 62.18 |
| MemoBench Real | 基线 | Object Consistency | 58.43 |
PlayWorld 画面外子集 43 条,演化质量从 2.35、OPSD-V 的 2.42 到 2.70,主体身份从 2.70、2.72 到 2.98。MemoBench Real 164 段,物体一致性从 58.43 到 62.18。九项指标八项优于 λ 为 1 的 OPSD-V,SSIM 为 0.5463,低于对方 0.5487。PSNR 从 14.297 dB 到 14.467 dB。
5 秒教师的消融里,λ 从 0 到 2,主体一致性从 91.84 升到 93.29,画质分最高在 λ 为 1（84.82）。λ 为 0.5 时动态程度 89.72,λ 为 2 时降到 73.61。去掉共享的 6 帧,画质分从 84.82 掉到 81.91。历史项不与 DMD 梯度联合归一化,动态程度只剩 59.72,联合归一化后为 78.06,主体一致性则从 93.78 降到 92.58。训练比 DMD 每步慢 2.31%,显存多 1.99%。
已有 DMD 或 OPSD 管线时,这是对目标的修正。画质监督留在双向教师或 EMA 教师,历史只加残差。
1.3B 教师的学生在 60 秒总分上超过用 14B 教师蒸馏的同尺寸模型,训练却只滚到 15 秒。协议若对齐,长程一致性的缺口就更像历史权重不够,教师参数量解释不完。画面外靠训练时的固定机位视频提供特权信息,推理阶段这路画面不存在,演化得写进权重。
改进是渐进的。15 秒画质分比 Infinity-RoPE 高 0.53,60 秒总分比 Rolling Forcing 高 0.60,与 5B 模型差 0.08。
长视频实验停在 1.3B 师生,世界模型骨干为 5B。历史监督受限于底层模型的时间动态。固定机位教师几乎不演化场景时,画面外没有可蒸馏的信号。
60 秒对照取自 LongLive-2.0,这篇未重跑,提示词和归一化是否一致无法在正文里核对。15 秒画质分领先,主体与背景一致性并不领先,综合分含动态程度。
PlayWorld 演化质量 2.70,5 分制里仍偏低。MemoBench 的 PSNR 约 14.5 dB,SSIM 约 0.55。λ 调到 5 时,MemoBench 物体一致性升到 62.78,PlayWorld 演化质量降到 2.65。λ、时间阈值和归一化都在一致性与动态之间换位置。5 秒教师消融中,阈值 500 的画质分 85.08,高于默认 750 的 84.82。报出的 85.07 来自 10 秒教师加默认阈值,两数不能横比。特权教师渲错画面外状态时学生是否照单全收,没有实验。