微调 Qwen3-TTS 加入情绪控制标签,还发现情绪向量可跨说话人迁移
ProfessionalHorse707 · reddit · 2026-09-10
开发者用「内联转写控制标签」微调 Qwen3-TTS,替代单独的指令参数,开源了 qwen3-tts-emotion-tags。
做法:以 Qwen CustomVoice 模型为教师,用自然语言指令(如「用强烈愤怒的语气说」)生成音频,配离散控制 token(如「Anger」)让学生模型学习。语料约 9 个预置音色 × 每音色 8200 条,共 7.4 万条,最后加 LoRA。
踩坑:
- codec 前缀问题:language="Auto" 与显式指定语言会生成不同 codec 前缀,只用一种训练会在另一种推理时产生短语边界的蜂鸣声;解决是语料按约 80/20 同时覆盖两种前缀。
- 并发生成影响韵律:用 vLLM 以 10 并发生成语料会引入撕裂感,被迫降到 c1/c2。
意外发现:情绪在说话人 embedding 空间中近似「仿射」——对各说话人计算每情绪质心、减去中性质心得到任务向量,加到另一说话人的 xvec 上即可让克隆音色带上该情绪(主要沿 arousal 轴),无需为该说话人单独训练。
「多模态」频道最新
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27
- Reddit 求助：Qwen Image 2.1 换装总毁身材比例，Flux 3 Klein 略好 — Existing-Box-7866 · 2026-10-27
- ComfyUI 打造跨场景一致角色：RealVisXL V5 加 img2img 面部参考 — MiaLarsonJL · 2026-10-27
- 29 美分生成迈克尔·贝式屋顶大片，Seedance 实测效果惊人 — PersonalSpace_4225 · 2026-10-27
- 3 步 Turbo LoRA 实测:Moss 图像模型极速出图效果展示 — JadedScorpion · 2026-10-27
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27