Armin Ronacher 深挖 Qwen3-TTS：28秒音频克隆声音还能做向量混合
Armin Ronacher · rss · 2026-10-29
知名开发者 Armin Ronacher 分享了与孩子做地下城游戏配音时对 Qwen3-TTS 的一手实测：
- 模型分工：Qwen3-TTS 有三个 1.7B 变体——Base（从几秒参考音频克隆声音）、CustomVoice（9 个内置说话人+指令控制）、VoiceDesign（按文字描述凭空造声）。官方路径下克隆声音与指令控制不可兼得。
- 克隆门槛低：他用自己 PyAI Conf 演讲中 28 秒片段（用 Whisper 转写）即可烘出可信的声音克隆，录音质量要求不高。
- embedding 玩法：Base 模型的 speaker embedding 是 2048 维向量，可做算术——两个声音 embedding 加权平均即得到介于两者之间的新音色，可再烘成参考音频固化。
- 突破指令限制：CustomVoice 与 Base 的 transformer 权重几乎相同，可将 Base 提取的 x-vector 塞给 CustomVoice 的生成接口，实现「克隆声音+情绪指令」（如悲伤低语）。
- 说话人识别：用克隆 embedding 做说话人检测有条件限制——演讲片段作参考几乎失效，而用播客开场 20 秒自我介绍可达 98% 准确率；专用 ECAPA 模型则对演讲片段也能达 97%。
代码用官方 qwen-tts 包（支持 MPS），完整示例可复现。
「多模态」频道最新
- This Pillow Does Not Exist：AI 生成抱枕设计网站上线 — andrew_n_carr · 2026-10-30
- AI 生成暗黑奇幻短片《树根之子》:枯树里长出的孩子 — hazhar463 · 2026-10-30
- AI 民俗恐怖短片《井中之钟》:枯井底传来的钟声 — hazhar463 · 2026-10-30
- 语音模型 Phonic 登顶 VAmoS 基准，agentic 语音对语音训练难度获同行认证 — graceisford · 2026-10-30
- AA 视频榜：Utopai X 逼近 Dreamina Seedance 2.5 登顶 I2V — ArtificialAnlys · 2026-10-30
- 雷达图详解：Utopai X 在十项视频能力上距离前沿的差距 — ArtificialAnlys · 2026-10-30