A Chosen Future Can Still Be Rewritten: Causal Writability in Video Models
Xingyun Wang, Haomin Zheng, Man Yuan, Leqian Yang, Ziming Liu
cs.LG, cs.CV
2026-09-15
训练红慢蓝快后,红色快振常被生成成慢的。正确运动仍在内部:边界位置与速度预测的四维编辑可改回,但固定强度下存在突然失效的深度边界。
视频模型生成一段物理上不对的运动时,有两种可能:它根本没学到正确运动,或者学到了但没用上。只看生成视频,分不清这两种失败。
清华、北大、中科大与上海期智研究院的工作给出第二种答案。训练数据里,红色质量块慢振、蓝色快振。测试时给一个红色质量块配上已经观测到的快速运动。模型经常跟着颜色走,生成慢振。但内部仍有一条低维编辑,能把生成改回正确的快振。这种能力叫 causal writability:一次内部激活编辑能不能改写解码后的运动。
任务叫 Spring。模型是 4.88 亿参数的 latent flow-matching Transformer,30 层双向 DiT,VAE 冻住 Wan2.1。每段视频 20 fps,先看 65 帧再生成 64 帧。训练只给红慢(ω 约 2.2–3.0 rad/s)和蓝快(5.2–6.4 rad/s),从不出现冲突组合。Long 设置露出全部 65 帧观测;Short 把前 57 帧换成固定背景,只留最后 8 帧真实运动。
关键对照是 aligned 与 conflict:同一条轨迹、同一边界位置与速度、同一生成种子,只改颜色。aligned 跟着观测运动走,conflict 跟着颜色捷径走。把两者在某层观测帧 token 上的激活差加到 conflict 上,解码视频就会转向正确频率。
完整差分还太粗。PCA 显示前 4 个坐标几乎保住全部效果。这 4 个坐标随边界相位光滑变化:位置像 cos,速度像 sin。于是可以训练一个控制器,只吃目标方向(快或慢)和边界相位,预测这 4 个数,再经冻结的 PCA 基还原成编辑。测试时不需要那条配对的 aligned 激活。
可写性沿 31 个位点扫描(第 0 层前,以及 30 个 block 之后)。固定编辑强度时,存在一条很窄的深度边界:边界前改得动视频,边界后改不动。这条闭合叫 commitment。运动信号本身还在,下游把注意力写加强,物理运动还能回来;增益过大则超调。
| 方法 | 指标 | 结果 |
| 完整激活差 | 持出样本落到目标频带 | 92.4% |
| Top-4 PCA 投影 | 同上 | 87.8% |
| 边界相位控制器 | 同上 | 85.9% |
| 跨三次独立训练迁移 | 解码恢复 R | 0.94–0.99 |
| Short 训练 5K→100K | physics-follow | 0.52→0.60 |
| 剩余捷径错误 | 平均可写层数 | 10.88→9.55 |
| 后来被纠正的错误 | 5K 时可写层数差 | 多 3.79 层 |
| Wan 1.3B Neutral-first vs Direct | 冲突端 physics-follow | 80.5% vs 9.4% |
| 单头 V 放大 λ=8 | 48 条严格失败 | 56.3% 跟随物理 |
三次独立训练的 Short 模型,自然 physics-follow 率相差约 22 个百分点,但修正编辑能互相迁移。行为差在下游怎么用同一套物理解,不在解是否存在。
注意力拆解把写通路钉在 self-attention:把 future-frame 的 post-attention 状态换回 conflict,频率恢复消失;换 MLP 输出则还在。Q 几乎无影响,观测帧的 K+V 一起换回 conflict,六组方向全部丢掉恢复。信号在闭合之后仍可测到。Run C 里只放大 9 个头中的一个观测帧 V,λ=8 时 56.3% 回到物理;λ=16 全部仍合法,但多数跑出训练支持的频带。
预训练 Wan 1.3B 上复现了同一套现象。先在无颜色线索的灰度视频上学运动,再灌红慢蓝快偏差数据,冲突端 10K 步 physics-follow 80.5%;直接在偏差数据上微调只有 9.4%。闭合也更晚:Direct 在 B12–B13,Neutral-first 在 B14–B15。单摆任务重复了振荡器结论。自由落体用 [1, gtarget] 控制器拿到中位恢复 Rg=0.967,但 block 1 之后几乎失去直接可写性。
对做视频生成和 world model 的人,这条结论很硬:生成错了,不等于内部没有正确物理。错误可能是没用上,不是没学会。训练顺序也不是装饰:先学与外观无关的动力学,再引入外观捷径,能把冲突场景的物理跟随从约一成拉到八成。
可写性还能当早期诊断。5K 步时还分不出哪些捷径错误会被训练救回来,但那时可写层数已经差了将近 4 层。如果这个信号在更自然的数据上还成立,它可能比等最终生成质量更早告诉你,这条错误还会不会被训练修掉。
这是机制研究,不是即插即用的修片工具。编辑依赖配对激活或拟合好的控制器,目前只在弹簧、单摆、自由落体这类受控场景里定量成立。
作者写得很清楚。机制分析用的是合成力学视频,才能做精确反事实匹配和逐像素评测。学到的编辑跟着训练里耦合的外观-动力学模式走,闭合也只对观测帧编辑、指定位点和指定 checkpoint 成立。不同随机种子把观测到未来的注意力写摊在不同的 K/V 头上。
更关键的缺口:大规模预训练 world model 里自然出现的捷径,会不会也有同样的「过了这层就改不回来」?论文没有回答。自由落体在 block 1 之后就几乎失去直接可写性,说明闭合有多早就取决于动力学本身,不能默认所有物理都像弹簧那样能写到很深。