复用 TTS 主干做声纹编码:省 48% 参数,118M 克隆模型反超官方

RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation

Ming Ma, Mingjie Chen, Yuanzhong Zheng, Hengyao Bao, Hailin Yu, Shijing Yu, Hao Qiu, Gongfan Cao, Xiao Li, Xuemin Zhao, Youhai Jiang

cs.SD, eess.AS

2026-11-11

复用预训练 TTS 主干把参考文本和语音压成 8 个向量,参数省 48%,118M 模型三项基准均超官方 MOSS-TTS-Nano。

这篇在解决什么

零样本语音克隆:给一段几秒的参考录音,模型用这个声音念全新文本。续写(acoustic continuation)把参考录音拼进生成历史,像 LLM 的 prompt 一样接着往下生成,信息保留最全,但参考里的内容、录音瑕疵和异常停顿也一起绑进上下文,参考越长占的生成窗口越大。参考编码器把录音压成固定长度的条件向量,接口干净,难点是压缩过程会丢说话人身份和表达细节。小模型装不下第二个大编码器,矛盾更尖锐。这篇问得很直接:预训练好的 TTS 生成器,能不能拿来当声纹编码器。

方法

底座是 MOSS-TTS-Nano:Global transformer(12 层、hidden 768)建模文本与声学帧序列,单层 Local transformer 在帧内生成 codec token(每秒 12.5 帧、16 个 codebook)。

RSE 编码是一次共享主干的前向:输入依次是参考文本 embedding、参考语音帧 embedding、EOS 标记和 8 个可学习 query,过同一个 Global transformer;因果 mask 下 query 只看前面的参考内容,输出经 LayerNorm 和一个线性桥接得到 8 个压缩向量,再叠加冻结 CAM++ 抽取的 192 维 speaker embedding,形成条件 Z̄。

生成走同一个 Global:从 Z̄ 开始,接目标文本和 BOS,逐帧生成,Local 负责每帧 16 个 codebook 索引。训练只有 teacher forcing 下目标语音的自回归交叉熵一个损失,梯度从目标预测流过 Z̄,编码和生成一起学。训练对是同一说话人的两句不同 utterance(转写做 IPA 增强),逼 8 个向量装下「内容换了、人还是这个人」的信息。

三个设计选择都有消融支撑。预训练初始化把生成器学到的文本-语音对齐能力迁移给压缩,Seed-TTS 上 SIM 从 0.400 升到 0.530;配对参考文本让编码器同时看到「说了什么」和「怎么说的」;共享主干省掉第二个 transformer,编码加生成参数从 228.5M 降到 118.2M,代价是 SIM 略低于独立编码器(0.552 对 0.564)。

结果

五个变体在同一个 20k 小时子集上训 1 个 epoch:

变体参数Seed-TTS WER/SIMCV3-eval WER/SIMMiniMax WER/SIM
独立编码·随机初始化228.5M1.39 / 0.4002.44 / 0.3420.75 / 0.391
独立编码·预训练初始化228.5M1.46 / 0.5302.63 / 0.4690.91 / 0.592
独立编码+参考文本228.5M1.41 / 0.5642.50 / 0.5070.75 / 0.651
共享主干·仅音频118.2M1.35 / 0.4982.46 / 0.4350.80 / 0.553
共享主干+文本(RSE)118.2M1.33 / 0.5522.63 / 0.4990.64 / 0.615

8 个向量的容量比预期大。参考从 3 秒加到 24 秒,SIM 从 0.378 涨到 0.569,30 个 EARS 说话人全部提升,而生成端始终只拿 8 个向量。向量还携带说话方式:固定 speaker embedding 不变,快读让输出短 7.0%,慢读长 13.4%,高音参考把音高平均抬高 6.01 个半音。它们与常规 speaker embedding 互补:线性预测同说话人另一段录音的 WavLM embedding,单用任一约 0.44,拼接后 0.469,63 个 held-out 说话人中 58 个提升。

机制实验把「文本为什么有用」拆开了。参考文本 token 逆序,只破坏连贯性和文本-音频对应,SIM 从 0.538 掉到 0.497;用 activation patching 把逆序运行中第 3、6 层的参考音频隐状态换成正确文本运行的对应状态,SIM 恢复到 0.545,第 9 层换 8 个 query 状态同样有效,恢复到 0.542。文本的好处先写进中间层音频表示,再汇聚进压缩向量。

全量英文语料训练后,118M 生成器在三个基准上 WER 和 SIM 都超过官方 MOSS-TTS-Nano 的对应克隆模式。RSE 再叠加续写,三个基准的 WER 全部低于受测的 CosyVoice 3 和 MOSS-TTS-Local,SIM 逼近这两个大模型,生成链合计 129M 参数,分别小 6.6 倍和 30.5 倍。纯续写模型(同初始化、同数据)SIM 更高,Seed-TTS 上 1.45/0.591 对 RSE 的 1.33/0.552;RSE 换来的是更低 WER 和固定大小的参考接口。

为什么重要

对做端侧或紧凑型克隆 TTS 的人,这是能直接抄的架构决策:一份主干参数同时干编码和生成,省 48%。「预训练生成器权重能当编码器初始化」的迁移结论,加上 patching 的因果定位,把 reference conditioning 从黑盒调参往机制理解推了一步。也得说实话:生成质量是对 MOSS-TTS-Nano 的渐进改进,卖点是效率和分析深度,不是新的质量上限。

局限与存疑

论文自述三条:固定大小条件的相似度仍落后续写式,差距在生成开局就出现,作者怀疑 teacher forcing 让模型过度依赖声学历史,压缩损失是另一个候选原因;必须提供参考文本转写,音频-only 场景得先过 ASR,鲁棒性未验证;实验只有英文。

另有几点存疑。训练语料是 in-house,规模与成分未披露,复现困难。对比系统用各自官方默认采样设置,采样对指标的影响没有控制。纯 RSE 与 CosyVoice 3、MOSS-TTS-Local 的正面对照数字正文没给,WER 优势结论只覆盖 RSE 加续写的组合。全文没有人工听感评测,自然度只能靠 SIM 和 WER 间接推断。

术语

原文与代码

社区讨论

相关论文

全部论文解读