Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
Team Kandinsky, Julia Agafonova, Bulat Akhmatov, Mikhail Aksyutin, Grigorii Alekseenko, Anastasia Aliaskina, Olga Androsova, Vladimir Arkhipkin, Anna Averchenkova, Alexander Belykh, Serafima Bocharova, Sofiya Bogakovskaya, Anton Bukashkin, Mark Bulygin, Kirill Buzygin, Irina Cheremnykh, Kirill Chernyshev, Mikhail Chernyshov, Vladimir Chernyy, David Chikovani, Georgy Daniltsev, Denis Dimitrov, Anna Dmitrienko, Vladimir Dokholyan, Sergey Emelyanov, Dmitry Ermilov, Georgii Fedorov, Polina Gavrilova, Nikolai Gerasimenko, Aleksandr Gordeev, Andrey Inozemtsev, Andrei Ivaniuta, Alexander Ivanov, Mikhail Karaev, Anastasiia Kargapoltseva, Ivan Kirillov, Nikita Kiselev, Valeria Kobenko, Yury Kolabushin, Denis Koposov, Anatoly Korobov, Vladimir Korviakov, Kirill Kozlov, Denis Krzhivokolskiy, Konstantin Kuklev, Alexander Kunitsyn, Sergey Kuzin, Vladislav Lakhtionov, Alexey Letunovskiy, Maxim Litvinov, Alexander Lyulkov, Georgy Makarov, Kirill Malakhov, Egor Malykh, Mikhail Mamaev, Dmitrii Mikhailov, Polina Mikhailova, Ivan Mikheev, Elizaveta Muromtseva, Nikolai Nazarkin, Tatiana Nikulina, Lev Novitskiy, Stanislav Onuchin, Nikita Osterov, Denis Parkhomenko, Anatoliy Parpara, Vladimir Polovnikov, Konstantin Reznikov, Azat Saginbaev, Nikita Samsonov, Alexander Sentsov, Nikita Shaimov, Artem Sherstyuk, Andrey Shutkin, Egor Silvestrov, Bulat Suleimanov, Matvey Suprunov, Sergey Taranov, Irina Tolstykh, Tatiana Trofimuk, Ilya Trushkin, Aleksandra Tsybina, Olga Varlashina, Viacheslav Vasilev, Ilya Vasiliev, Eugeny Vilisov, Sergey Yakubson, Konstantin Zakharov
cs.CV, cs.AI, cs.LG, cs.MM
2026-10-05
Kandinsky 6.0 放出 Lite 3B 与 Pro 29B,用双流交叉注意力对齐预训练视频和新训音频,生成 5 秒、44 kHz 带口型片段。强化学习后 Pro 的口播词错率从 0.235 降到 0.124,相对下降 47%。
Veo 3.1、Sora 2、Wan 2.6 已经做出带对白和环境声的短片,权重不公开。开源侧落后的地方仍是时长、分辨率和音画对齐。Kandinsky 5.0 用 CrossDiT(视频扩散 Transformer)和稀疏注意力 NABLA 把视频训到可承受的算力,没有同步训练的音频流。
音画要同时对上语义、时间和口型。音频头直接接在训好的视频模型上,画面容易被带崩,音频自己也没有预训练。Kandinsky 6.0 保住 5.0 的视频流,从头训练音频流,再用双向交叉注意力对齐,生成 5 秒、44 kHz、带口型的片段,权重以 MIT 放出。
架构是不对称双流 CrossDiT。两流各自做自注意力并读取文本,块间用双向交叉注意力通信:V2A 以视频查询音频,A2V 相反。Pro 为 29B,视频流 19B、音频流 5B、跨模态注意力 5B,两流各 60 个 block。Lite 为 3B,三部分依次为 2B、0.6B、0.4B,两流各 32 个 block。视频用 Hunyuan VAE,音频用 44 kHz 的 MMAudio 自编码器,文本用 Qwen2.5-VL-7B-Instruct 与 CLIP。视频 RoPE 按相对 24 fps 归一化帧号。
训练目标是 flow matching,拟合从噪声走向数据的速度,损失为 MSE。
成对数据按口型分 LSA 至少 3(0–5)和错位分 Desync 低于 0.1 过滤,约 25% 无脸片段不要求口型。图生样本 11.6 万条。条件帧拼在时间轴上,用 mask 分开条件与待去噪帧。Token Role Embedding 在推理消融里影响很弱,参考帧绑在哪一帧主要靠 RoPE。
监督微调把 11 个垂域分开训,最后均匀平均成 model soup。第一阶段 4663 条,冻结音频,只训视频,学习率 1e-5,7000 step。第二阶段 7686 条,说话和音乐更多,视频学习率 1e-5、音频 1e-6,损失权重为视频 0.85、音频 0.15,另加脸部损失 1.0(只统计脸上的视频误差),5000 step 后平均。两阶段均为 75% 文生、25% 图生。
强化学习只做文生,改自 OmniNFT。冻结 SFT,用 LoRA(插在线性层上的低秩增量,r=16,α=32)更新 Pro 的 1.99 亿参数(0.69%)或 Lite 的 4700 万(1.57%)。组大小为 Pro 10、Lite 8,分辨率 512×768,DPM2 共 20 步,CFG=1.0,组内差异只来自种子。八项奖励按支路加权:画面 2.5(HPSv3、VideoAlign)、音频 2.0(AudioBox、CLAP、Whisper-ASR)、同步 2.75(AV-desync、AV-align、按识别正确率调制的 LatentSync)。同步分进入两路优势,说话片段过采样 1.5 倍。V2A 键值梯度按层缩小,免得画面更新冲掉音频。相对 SFT 的 KL 系数为 1e-4。检查点取奖励 5 个 epoch 滑动均值最好的一轮。
采样蒸馏到 10 次网络前向(NFE)。DMD、DMD2、SID 在实验中容易模式坍缩,教师前向也更贵。π-Flow 让学生在自己的轨迹上模仿教师速度,引导一并蒸馏。少步带来的高频损失用 Sim-LADD 补,对抗梯度只回传最后 5 步,共 300 step。
1080p 由独立超分完成。K-VAE 空间压缩 16 倍、时间压缩 4 倍。Latent Upscaler 先在 latent 里放大,约 1.41B 且不看文本的 SR-DiT 再去退化,蒸馏后 2 次前向。全高清路径是像素域先双线性放大 1.125 倍,再走 ×2。首帧高质量锚点在当前推理中置零。
词错率(WER)是写清了基线的指标。自建口播集 64 条 prompt、每条 3 个种子,识别器为 Whisper-large-v3,检验为配对 Wilcoxon。
| 设置 | 对照 | WER |
| Pro,RL 后 | SFT 0.235 | 0.124,相对降 47%,p<0.001 |
| Lite,RL 后 | SFT 0.179 | 0.127,相对降 29%,p<0.001 |
| Pro,Harvard 100 句 | SFT 0.251 | 0.180,p=0.005 |
自建集的识别器同时是奖励模型。Harvard 句下降更小,仍显著。
人工并排的结论写在引言里:Pro 明显强于 Kandinsky 5.0 Video Pro;VABench 多数指标超过 LTX 2.5;相对 Kling 2.6、Veo 3.1 Fast、MiniMax H3、Seedance 2.0 仍有竞争力,语音更明显。引言没有附分项胜率。
超分没有配对真值。源是 Kandinsky 5.0 Video Lite 生成的 5 秒片段,各尺度 912 段裁剪,绝对分不能跨尺度比。
| 尺度 | 阶段 | MUSIQ | DOVER | 拉普拉斯伪影 | warp error |
| ×4 | 密集注意力 | 48.92 | 0.5467 | 0.4366 | 0.6141 |
| ×4 | 蒸馏后 | 50.41 | 0.5553 | 0.4227 | 0.6781 |
| ×2 | 密集注意力 | 66.05 | 0.7329 | 0.6062 | 0.6551 |
| ×2 | 蒸馏后 | 65.81 | 0.7348 | 0.5710 | 0.6831 |
×4 的 MUSIQ 从 48.92 升到 50.41,warp error 升到 0.6781。×2 的 MUSIQ 在三个阶段里停在 65.29 到 66.05。CLIP-IQA 只在 ×4 从 0.4426 升到 0.4587。
94 段留出数据上,Latent Upscaler 对比「解码后再做像素双线性」。×4 全组 PSNR 39.26 dB 对 37.96 dB,四组都更高。×2 全组 41.70 对 41.58;弱退化视频上双线性更好,5.0 子集 42.97 对 41.60。latent 内直接双线性只有 21.44 dB(×2)和 19.76 dB(×4)。24 段真实视频相对 K-VAE 往返基线(约 0.591),warp error 多 0.026 与 0.049,约 4.4% 与 8.3%。
代码、权重和 diffusers 集成以 MIT 放出,带口型的音视频基座里仍然少。3B 用来做实验,29B 用来看上限,44 kHz、口型、文生和图生在同一配方里。奖励、蒸馏和超分都有权重可改。
适用面是 5 秒口播、环境声和短镜头。长镜头成片不在这代的工作范围内。相对 5.0,视频流是续训,加上的是同步和后训练。论文把与 Kling、Veo 的比较收在语音质量上的竞争力,和 5 秒 SD 基座的设定一致。把它读成时长或分辨率上的领先,超出了实验能支撑的范围。
时长仍约 5 秒。联合训练高度偏向 768×512 横屏,表 3 中该档采样概率不低于 0.97。1080p 完全依赖外挂超分,而 ×2 的 Latent Upscaler 在弱退化视频上 PSNR 低于像素双线性,×4 的 warp error 还从 0.6141 升到 0.6781。论文指出该残差同时受细节和光流精度影响,最终检查点靠人工并排挑选。
词错率降幅最大的一档,奖励和指标用的是同一个 Whisper-large-v3。Harvard 句只从 0.251 降到 0.180。RL 采样固定 CFG=1.0、512×768,图生模式没有参加。口播收益能否出现在带引导系数的 1080p 推理里,还没有对照。
微调只有数千条人工筛选片段,4000 万条音频也抽自家视频集。口型离开这套过滤之后会怎样,没有单独测量。少步蒸馏相对完整模型的人工分差,训练章没有给出,只说明高频细节会丢、对抗学习用来补。首帧高质量锚点同样没有进入当前推理。