Kandinsky 开源语音生成数字人视频模型：单张照片开口说话
lmoroney · x · 2026-10-16
Kandinsky Lab 发布开源语音转视频模型家族 Kandinsky S2V 1.0，包含 Lite(2B)与 Pro(21B)两个版本。只需一张参考图、一段语音和可选文本提示，即可生成 25 FPS 长视频，唇形、表情、姿态和手势均跟随语音变化。
技术要点：
- 架构以 Qwen2.5-Omni 提供文本与音频条件，加入参考感知的三尺度视觉记忆；基于 Kandinsky 5.0 Video 底座训练，配合区域自适应人脸损失
- 训练数据为 117 万条单说话人片段，配英文与俄文 caption
- 人工盲测中，Pro 版整体持平或超过最强开源基线和两个商业闭源模型，唇形同步尤受偏好
- 提供 π-Flow 蒸馏版：Pro 蒸馏模型 16 步采样、免 CFG,端到端提速 5.4 倍，指标基本不降
代码、权重与 diffusers 集成均以 MIT 协议开源，可本地部署研究。
所属事件:Kandinsky 开源语音驱动数字人视频生成模型(2 条相关)→
「多模态」频道最新
- Pollo 推出 Recast 视频重绘工具,保留动作与口型,限时六折 — SimplyAnnisa · 2026-10-16
- Tripo 旧金山办首届 3D 世界构建黑客松,World Labs 与 Runway 亮相 — mhdfaran · 2026-10-16
- Kling 4.0 强化文生视频：角色一致性、口型同步与对话表现升级 — CurieuxExplorer · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- AI 生成「巨人 MJ」时装图爆火:夸张比例撞出超现实时尚感 — OVolosin82152 · 2026-10-16