Kandinsky 开源 S2V 1.0：单张照片+语音生成口型同步数字人视频

lmoroney · x · 2026-10-16

Kandinsky Lab 于 10 月 15 日发布语音驱动数字人视频生成模型 Kandinsky S2V 1.0，包含 Lite（2B）和 Pro（21B）两档。输入一张参考图、一段语音波形和可选文本提示，即可生成 25 FPS 的长视频，口型、表情、姿态和手势均跟随语音。架构从单一 Qwen2.5-Omni 模型提取文本与音频特征，并跨 5 秒片段维护三尺度视觉记忆；训练数据为 117 万条单说话人片段，配有英文和俄文字幕。还提供 π-Flow 蒸馏版本：蒸馏版 Pro 只需 16 步采样、无需 classifier-free guidance，端到端加速 5.4 倍。人类评测中 Pro 与最强开源基线及两款商业闭源模型相当或更好，唇同步尤受偏好。代码、权重和 Diffusers 集成以 MIT 协议开源（发帖时 GitHub/HF 链接尚未生效）。