微软重开源 VibeVoice：10 秒克隆声音，本地生 90 分钟播客

solyarisoftware · x · 2026-11-04

微软重新开源了曾因滥用风险下架的语音模型 VibeVoice：可从 10 秒音频克隆任意声音，单次生成最长 90 分钟、最多 4 个说话人的自然对话音频，支持实时流式输入，全部可本地运行，无需 ElevenLabs 等按分钟或订阅付费的服务。技术上，VibeVoice 采用 7.5 Hz 超低帧率的连续声学/语义 tokenizer 提升长序列效率，并用 next-token diffusion 框架（LLM 理解对话上下文 + diffusion head 生成声学细节）保证说话人一致性与自然轮替。微软曾在 2025 年 9 月 5 日表示发现模型被用于超出研究意图的场景而禁用仓库，如今加上水印与安全控制后重新发布。演示涵盖自发情绪、即兴唱歌、带背景音乐的播客、中英跨语言等能力。