港科大腾讯提出 FAPL：让视频 DiT 真正用上 MLLM 表征做电影级控制
tencent · hf · 2026-10-23
港科大 MMLab、腾讯视频、École Polytechnique 团队发布论文《Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation》。电影级视频生成需要从稀疏输入做时间推理，以及对角色、场景、动作、镜头等要素的控制；MLLM 表征虽蕴含有用先验，但 Video Diffusion Transformer（DiT）常通过原生条件通路绕开它们，直接使用也无法保证要素可控与时间预测兼容。团队提出 Factor-Aware Predictive Learning（FAPL），用互补学习信号同时达成两个能力：一是 latent-only generator grounding，用冻结的 MLLM 与连接器训练 DiT，强化其对 MLLM 潜表征的利用；二是要素感知控制，实现稀疏时间推断与按要素的电影级生成控制。
「多模态」频道最新
- 156 个「AI 画的南瓜」：基于 ChatGPT 对你的了解生成创作 — Kyrannio · 2026-10-23
- 12GB 显卡也能训 Krea 2 LoRA，作者开源 LoRA Studio 征集反馈 — homebrewedstuff · 2026-10-23
- 牛津与 NUS 团队发视频世界模型综述:统一理解与生成四大操作 — Shengqiong Wu · 2026-10-23
- 受 Higgsfield Katana 启发，开源视频编辑器 OpenKatana 发布 — rk0neki · 2026-10-23
- 开源 ComfyUI 节点耦合初始噪声，不加采样步数提升批量多样性 — Current-Ad-198 · 2026-10-23
- 复旦发布 Code2Video-Compass:2104 项任务考住 15 个多模态大模型 — Fudan-University · 2026-10-23