Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling
Kling Team, Dong Chen, Jialu Chen, Xinlong Chen, Yifan Dai, Haotian Dong, Binzong Geng, Yushuo Guan, Minghui Guo, Guanlin He, Guanxiao He, Jingyun Hua, Yanwei Huang, Yiyan Ji, Xueping Jia, Yizhuo Jia, Bozhou Li, Jiaze Li, Min Li, Shihao Li, Shujie Li, Shengyi Liao, Weihong Lin, Shiyuan Liu, Xinyu Liu, Siyang Mao, Xiaoru Qu, Dianmo Sheng, Yang Shi, Jiafu Tang, Longxiang Tang, Yuqi Tang, Chengzhuo Tong, Kuo Wang, Qixun Wang, Rui Wang, Tianduo Wang, Yuran Wang, Zekun Wang, Zihao Wang, Boyang Xia, Yifan Xu, Liu Yang, Zhenlong Yuan, Bohan Zeng, Mujin Zhang, Yuanxing Zhang, Zhicheng Zhang, Zhuoran Zhang, Yuanhong Zheng, Kun Gai, Chengru Song, Pengfei Wan
cs.CV
2026-11-03
可灵公开 Kling-MLLM 及字幕、PE、奖励模型全链路,397B 字幕模型在 VidCapBench 覆盖率 96.05,超过 Gemini-4。
视频生成到 2026 年已能产出可用的多镜头短视频,主体、镜头调度、对白、配乐在一条片子里同时成立。可灵团队由此给出判断:渲染不再是瓶颈,瓶颈在语义控制,即让生成器准确执行「谁在做什么、镜头怎么走、哪些东西不许动」。
报告复盘 Kling 1.0 到 4.0 背后的多模态理解栈,论点一句话:生成质量是理解能力沿「数据、条件化、对齐、评测」整条链的投影。同一个失败可能源自字幕漏掉关键监督、条件表示丢掉时序结构、奖励模型偏爱平滑但静止的运动,或评测没测被要求的事件。通用多模态 benchmark 的高分覆盖不了镜头语言、左右关系、身份绑定,理解栈只能按链条逐环节自建。
底座是共享的 Kling-MLLM,一个 dense 27B 加两个 MoE 变体(35B-A3B、397B-A17B),LLM 与视觉骨干从 Qwen3.5-Qwen3.8 系列初始化,统一图像、视频、音频、音视频同步与交错输入。音频 token 速率固定,理论上能从 token 位置推算时间,实测推不准,时长感知和时间定位都弱;补救是给每段音频加起止时间戳、每 5 秒插一个绝对时间锚点,音视频同步序列共用同一条时间线。训练走四阶段课程:先冻结视觉和 LLM 只训音频塔,再全参数联合,然后转长序列扩时序容量,最后冻结模态塔、只用最高质量数据更新 LLM。一个细节:Stage 1 和 Stage 4 的 checkpoint 合并后比单独任何一个都好。
底座再特化成链条上的模块。字幕被当作「语义合同」:DiT 的训练样本量远小于语言模型,差距没法靠 scaling 补齐,每秒视频携带的描述密度就成了数据效率的核心度量。合同规定六类必写信息,从主体动作、空间构图到摄影灯光、镜头时序、可见可听文本、美学;多专家流水线产出监督,再蒸馏成单次前向的学生模型。参考条件生成扩展出 RGC:caption 显式声明每个参考物绑定到哪个实体的哪个属性、哪个时段,参考管不到的事全部写明,参考已经管的不要抢着描述。数据侧最省的一招是关系标注,任意两个足够相似的视频就是一对训练样本,一个当参考一个当目标,不需要真实编辑流程。PE 把用户请求翻译进 caption 分布,训练数据从优质视频的 caption 反向构造出对应 prompt;推理时 agentic PE 先修故事矛盾、检索 5 条优质 caption,再由 basic PE 落笔。报告另给两条结论:可靠的条件编码器来自感知训练,不来自更强的语言能力,候选可先用纯文本筛选再上端到端;奖励模型拆成给可解释局部批评的 general RM 和快速多维打分的 decision RM。
底座对比不是一边倒,397B 的优势集中在时序感知、音视频字幕和镜头理解:
| 设置 | 指标 | Kling-MLLM-397B | 最强外部基线 |
| video-SALMONN(音视频字幕) | 总错误,越低越好 | 37.07 | 39.13(Qwen3.5-Omni-Plus) |
| Camera Motion VQA | 准确率 | 54.72 | 37.70(Qwen3.5-Omni-Plus) |
| DSI-Bench(时序理解) | 准确率 | 65.52 | 63.90(Qwen3-Omni) |
Qwen3.5-Omni-Plus 仍以 80.37 领先 MVBench,Doubao2.0-Lite(thinking)拿下 LongVideoBench(75.17)和 MME-VideoOCR(84.65),图像与语音识别各列互有胜负。VSI-Bench 上 35B-A3B 拿 75.07,比最强外部基线 Qwen3-VL 的 64.16 高出约 11 分。
特化后的字幕模型是数字面最强的部分:
| 模型 | VidCapBench 准确率 / 精确率 / 覆盖率 |
| Gemini-4-Argon | 16.20 / 51.66 / 85.63 |
| Doubao2.1-Lite(thinking) | 20.23 / 56.44 / 94.15 |
| Kling-Captioner-397B | 21.70 / 60.51 / 96.05 |
Kling-Captioner 在 UGC-VideoCap 和内部的运动、镜头、声音评测上也全面领先。RGC 上,Kling-RGC-397B 的 ViDiC 平均 78.89 高于 Gemini-4-Argon 的 77.18,MRVBench 关键点覆盖(95.18)、VQA(76.34)、参考绑定精度(94.85)领先;Ref-Tag-R、Subj-F1、MRVScore 三项仍在 Gemini 手里,Subj-F1 差约 5 分。
对做生成的团队,这份报告的价值在方法论:描述密度作为数据效率度量、RGC 的三条合同(作用域绑定、残余充分性、权威一致性)、从相似视频对造参考条件数据、PE 反向构造,都是能直接搬的工程决策。对做理解模型的人,它给出一条产品化路径:一个底座按精度与延迟特化成字幕、PE、编码器、奖励模型、评测器五个角色,评测跟着任务拆,便宜的纯文本筛选先过滤,再花钱训端到端。
作者自列的局限:高动态内容要在时空保真和上下文容量之间取舍;长视频的描述长度与密度此消彼长,长时程指代一致性没解决;音画对齐和说话人归属还要更强整合;真实用户请求不带完整绑定结构,把欠规格请求翻译进训练用的 caption 分布是遗留难题。另有两处存疑:多数结论是复盘式叙述,可见部分没有受控消融,「描述密度提升换多少生成收益」只给原则不给数字;评测基本自跑,部分基线缺官方可比分数,底座对比里 Kling 与 Doubao、Gemini 互有胜负,框架论据强于数据面证据。