Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
Songlin Yang, Zhe Wang, Xiaotong Zhao, Xi Wang, Ran Zhang, Shuai Li, Taiyi Wu, Songlian Li, Eric Liu, Alan Zhao, Anyi Rao
cs.CV
2026-10-22
在 13B 的 UniVideo 上，FAPL 分三阶段让 MLLM 隐状态真正参与生成：切断旁路、替换单因子片段，再冻结 DiT、转而训练 MLLM。纯文本动作顺序从 48% 升到 61%，单因子编辑从 42% 升到 58%。
电影镜头生成同时要补全和拆开。剧本加少量参考并不规定每一帧，动作怎么接、镜头怎么走，得模型自己推断。角色、场景、动作、镜头还得分开听指令，改一个不能把另外三个带走。
MLLM（多模态大模型，能同时读文字和画面）的隐状态，现在常和文本编码器、VAE 参考图一起送进 Video DiT（用 Transformer 做视频流匹配的生成器）。损失只看整段视频，DiT 可以靠更熟的文本和参考图把损失降下来，MLLM 这路被绕开。论文用冲突条件做探针：两边不一致时，画面跟着 VAE 参考走。只喂 MLLM 隐状态时，Omni-Video 2 的 1.3B DiT 退化成噪声，14B 和 UniVideo 的 13B 会出现伪影，还会把一个人的连续动作画成两个人。
视频级损失也不标明哪一段条件该让哪一类内容变。冻结的 MLLM 更没有为稀疏输入学过时间表征。
FAPL 不加模块，在 UniVideo 的 13B DiT 上分三阶段训练。MLLM、connector（把隐状态投进 DiT 条件空间的投影）和 DiT 都从预训练权重出发。三阶段的内容条件只留 MLLM 投影，文本编码器和 VAE 参考关掉。损失仍是 flow matching（流匹配）。
每条视频有两种输入，纯文本，或文本加上这条成片，监督目标相同，纯文本看不到视频。编辑数据 10 万对，四个因子各 2.5 万，主体来自 CoinVE-200K，补充来自 OmniVBench 训练集。描述拆成角色、场景、动作、镜头四栏，配对只改一栏。字段边界就是片段地址。
阶段 I 冻结 MLLM 和 connector，只训 DiT 一万步，两种观测 1:1。完整观测负责把时间信息读进 DiT，纯文本负责保住编辑接口。旁路一关，DiT 只能靠这路特征把损失降下来。
阶段 II 仍冻结上游，只用纯文本，训 1.5 万步。一对片子只差因子 k。把一边该因子的整段换成另一边的，目标换成对方的视频，正反都做。替换在进 DiT 之前完成。这一步绑定的是替换后的变与留。
阶段 III 冻结 DiT，MLLM 和 connector 从原始权重微调一万步，两种观测仍对半，目标仍是同一条视频。纯文本要让固定的生成器还原语义和运动。看得到成片时，也只能走同一条 connector。梯度穿过 DiT 回传，生成器本身不再更新。
学习率 1e-5，AdamW。推理 50 步，CFG（无分类器引导）尺度 5.0。剧本和可选参考经 MLLM 进 DiT，不必给目标成片；原有文本和 VAE 条件也可以加回来。编辑只替换目标片段。多镜头逐镜生成，无跨镜记忆。
CineFactor-10K 有 1 万条留出单镜头，与训练视频不重叠。其中 5000 条只给文字，测稀疏生成；5000 条测因子编辑，每个因子 1250 条。多镜头用 ShotVerse-Bench 的 100 条序列，每条 2 到 4 镜。
Motion Order 越高越好。π3 恢复运镜，误差越低越好。∩-Acc 要是非题和选择题都过。多镜头看 Subject、Scene 和 FaceSim-Arc。
| 方法 | Motion Order↑ | 平移误差↓ | 旋转误差↓ | ∩-Acc↑ | Subject↑ | Scene↑ | FaceSim-Arc↑ |
| Omni-Video 2 (1.3B) | 33% | 0.1084 | 1.87 | 28% | 0.435 | 0.373 | 0.412 |
| Omni-Video 2 (14B) | 43% | 0.0817 | 1.49 | 37% | 0.476 | 0.423 | 0.468 |
| UniVideo (13B) | 48% | 0.0763 | 1.54 | 42% | 0.462 | 0.427 | 0.451 |
| FAPL | 61% | 0.0586 | 1.02 | 58% | 0.516 | 0.471 | 0.523 |
和同一个 UniVideo 13B 比，动作顺序 48% 到 61%，平移 0.0763 到 0.0586，旋转 1.54 到 1.02 弧度，∩-Acc 42% 到 58%，人脸分 0.451 到 0.523。14B 的 Omni-Video 2 在这张表上更低。
消融仍用这块 13B。阶段 I 之后：动作顺序 54%，平移 0.0708，旋转 1.38，∩-Acc 44%。特征用上了，编辑几乎没动。
阶段 II 配对数和步数相同，两组都从阶段 I 接着训。替换那组的 ∩-Acc 是 57%，不替换是 48%。动作顺序分别是 53% 和 54%，平移是 0.0671 和 0.0654，运镜没有跟着变好。
阶段 III 纯文本训练的动作顺序、平移、旋转、∩-Acc 分别是 57%、0.0629、1.26、56%；对半观测后是 61%、0.0586、1.02、58%。成片观测主要补纯文本推理时的动作和运镜。
文字例子里，对照会把长发画短、丢掉指定手势，或忽略 30 度环绕。全套数字只给了 UniVideo 13B。1.3B 和 14B 的 Omni-Video 2 只展示了阶段 I 后不再崩成噪声。
先关文本和 VAE、只训 DiT，是为了让 MLLM 隐状态真的参与生成。这一步不加模块，后面的替换和上游微调都靠这个接口。
因子不必先解耦。四栏文本提供地址，成对视频规定变什么、留什么，训练只做整段替换。同样数据和步数下去掉替换，∩-Acc 从 57% 回到 48%。
然后生成器固定，MLLM 反过来适配它。稀疏输入下的预测，和看完整视频时的重建，共用一个目标，监督仍是生成损失。
已接上 MLLM 的视频 DiT，按这三阶段训练即可。多镜头没有跨镜记忆，一致性来自共享参考。保真和表演仍看底座，属于同一代模型上的增益。
论文把上界定在底座：MLLM 读不好 3D blockout（几何块搭的空间粗模），复杂运镜也推不成 DiT 能执行的控制；DiT 本身限制保真和像样的表演。
缺少一条总对照，即同样 3.5 万步、同样 10 万对，但保留文本和 VAE。阶段 II 锁住了数据和步数，∩-Acc 从 48% 到 57% 可以记在替换上。动作顺序从 48% 到 61% 仍混着多训，三阶段各贡献多少没有单拆干净。
主表没写推理开了哪几路条件。稀疏任务是纯文本，因子编辑则走各模型自己的接口。因此还不能说隐状态单独够用。
生成出来的配对是否只改了一个因子，没有人工比例。多镜头仅 100 条，且逐镜独立，不测叙事记忆。按栏切出的片段有多少串扰，论文没给数字。指标都是自动的。