Beyond the Benchmark: Conditioning, Domains and Failure Modes of Qwen3-TTS
Séverin Baroudi, Yanis Labrak, Petr Motlicek, Hervé Bredin, Ricard Marxer
cs.SD, cs.CL
2026-10-17
实测 Qwen3-TTS 两种克隆接口:域差异对质量的影响是选系统的 4 倍,ICL 参考转写错一个词,幻觉率涨十倍。
Qwen3-TTS(1.7B)的技术报告宣称 zero-shot voice cloning 达到 SOTA。zero-shot voice cloning 指给一段参考音频、不微调,就能用这个声音念任意文本。报告没答三个部署必问的问题:两个克隆接口该用哪个、离开干净朗读语音还剩几成功力、会在哪崩。惯常评测靠 ASR 词错率、说话人相似度和预测 MOS,几乎全在朗读语音上做,指标本身也在饱和。这研究把两个接口当独立系统,与 Chatterbox、XTTS-v2、F5-TTS 同场测四个域:LibriSpeech 朗读、AMI 远场会议、IEMOCAP 情绪对白、ATCO2 空管无线电,每域一小时。
主结果用 shifted 配对,声音取自另一句话、韵律无从照抄,贴近部署;幻觉标记只看时长特征,人工审计得 recall 94.7%、F1 68.8%,会高估真实率,但规则对各系统一致。
| 指标 | Qwen3-TTS | 最强基线 |
| AMI 人类被骗率 | 27.0%(ICL)/ 35.6%(X-Vector) | Chatterbox 9.0% |
| 综合分 S(四域平均) | 33.4(ICL)/ 34.3(X-Vector) | Chatterbox 31.9 |
| 幻觉率(常规设置) | 4.1%(ICL)/ 2.5%(X-Vector) | XTTS-v2 18.5% |
| 四域平均可懂度分 | 42.1 / 43.5 | XTTS-v2 37.6 |
两个接口各管一半:ICL 拿参考音频加转写、以续写方式克隆,干净参考下音色更像,LibriSpeech 上音色分 80.2 对 61.5;X-Vector 只用说话人向量、不要转写,每个语料上韵律都更准(SPro 高 2.6 到 11.3 分)。最清晰的失败模式是 ICL 配错误转写:幻觉率从 1.1% 涨到 9.0%(轻度改一个词)和 14.4%(换成一个干扰词),IEMOCAP 上从 0.8% 到 21.2%。驱动变量是转写长度,3 词转写换词后幻觉率 65%,超过 8 词降到 20% 以下;注入的干扰词有 7.0% 概率被真的念出来,96.6% 落在输出前三分之一。
方差分解给出全文最重的数字:语料解释 63% 的分数方差,系统只解释 15%。LibriSpeech 平均 S 43.4,ATCO2 掉到 18.5,可懂度分崩到 14.7(LibriSpeech 为 55.2)。
AASIST 八个测试格里只有一格区分得出 Qwen3-TTS(ICL 在 LibriSpeech,检出 39.0%、误报 19.0%);X-Vector 在 AMI 上百条只抓到一条,同期 17% 的真录音被误判。检出与听得像不挂钩:XTTS-v2 四域检出 86–91%,听者只有 6% 被骗;ATCO2 上检测器把 99% 的真录音判为假,比克隆本身(75–95%)还高。
对部署者这是选型规则:参考音频干净、转写经校验且超过十个词,用 ICL;短、噪、没转写或韵律优先,用 X-Vector。域影响是系统选择的四倍,在目标域跑一个几十对的 2AFC 小验证,比来回换模型划算。评测侧同样硬:综合分与被骗率的相关只有 ρ=0.20,音色相似度甚至是负相关(−0.70,F5-TTS 声音最像却最易被识破),LLM 裁判对骗过人类的样本一致率至多 16.7%,没有代理指标能替代目标域的真人小听测。安全侧,现成反欺骗对 Qwen3-TTS 基本无效,空管频段完全失灵,EU AI Act 式的事前披露比事后检测可靠。
真人听测只有三名同地点的入门标注员,35.6% 对 27.0% 的接口差,作者自己承认这个面板定不了案;人类数据只在 AMI 有,其余三域靠论文自己证明不稳定的 LLM 裁判顶着,顺序翻转最高 43%。指标筛选建立在 n=4 的相关性上,四个维度等权是未经校准的选择。幻觉标记靠时长规则会高估,反欺骗结论只代表未调优的 AASIST,信道匹配的检测器未必救不回 ATCO2。全文只测英语、每域一小时、零微调,换语言换规模要重验。