RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation
Ming Ma, Mingjie Chen, Yuanzhong Zheng, Hengyao Bao, Hailin Yu, Shijing Yu, Hao Qiu, Gongfan Cao, Xiao Li, Xuemin Zhao, Youhai Jiang
cs.SD, eess.AS
2026-11-11
复用预训练 TTS 主干把参考文本和语音压成 8 个向量,参数省 48%,118M 模型三项基准均超官方 MOSS-TTS-Nano。
零样本语音克隆:给一段几秒的参考录音,模型用这个声音念全新文本。续写(acoustic continuation)把参考录音拼进生成历史,像 LLM 的 prompt 一样接着往下生成,信息保留最全,但参考里的内容、录音瑕疵和异常停顿也一起绑进上下文,参考越长占的生成窗口越大。参考编码器把录音压成固定长度的条件向量,接口干净,难点是压缩过程会丢说话人身份和表达细节。小模型装不下第二个大编码器,矛盾更尖锐。这篇问得很直接:预训练好的 TTS 生成器,能不能拿来当声纹编码器。
底座是 MOSS-TTS-Nano:Global transformer(12 层、hidden 768)建模文本与声学帧序列,单层 Local transformer 在帧内生成 codec token(每秒 12.5 帧、16 个 codebook)。
RSE 编码是一次共享主干的前向:输入依次是参考文本 embedding、参考语音帧 embedding、EOS 标记和 8 个可学习 query,过同一个 Global transformer;因果 mask 下 query 只看前面的参考内容,输出经 LayerNorm 和一个线性桥接得到 8 个压缩向量,再叠加冻结 CAM++ 抽取的 192 维 speaker embedding,形成条件 Z̄。
生成走同一个 Global:从 Z̄ 开始,接目标文本和 BOS,逐帧生成,Local 负责每帧 16 个 codebook 索引。训练只有 teacher forcing 下目标语音的自回归交叉熵一个损失,梯度从目标预测流过 Z̄,编码和生成一起学。训练对是同一说话人的两句不同 utterance(转写做 IPA 增强),逼 8 个向量装下「内容换了、人还是这个人」的信息。
三个设计选择都有消融支撑。预训练初始化把生成器学到的文本-语音对齐能力迁移给压缩,Seed-TTS 上 SIM 从 0.400 升到 0.530;配对参考文本让编码器同时看到「说了什么」和「怎么说的」;共享主干省掉第二个 transformer,编码加生成参数从 228.5M 降到 118.2M,代价是 SIM 略低于独立编码器(0.552 对 0.564)。
五个变体在同一个 20k 小时子集上训 1 个 epoch:
| 变体 | 参数 | Seed-TTS WER/SIM | CV3-eval WER/SIM | MiniMax WER/SIM |
| 独立编码·随机初始化 | 228.5M | 1.39 / 0.400 | 2.44 / 0.342 | 0.75 / 0.391 |
| 独立编码·预训练初始化 | 228.5M | 1.46 / 0.530 | 2.63 / 0.469 | 0.91 / 0.592 |
| 独立编码+参考文本 | 228.5M | 1.41 / 0.564 | 2.50 / 0.507 | 0.75 / 0.651 |
| 共享主干·仅音频 | 118.2M | 1.35 / 0.498 | 2.46 / 0.435 | 0.80 / 0.553 |
| 共享主干+文本(RSE) | 118.2M | 1.33 / 0.552 | 2.63 / 0.499 | 0.64 / 0.615 |
8 个向量的容量比预期大。参考从 3 秒加到 24 秒,SIM 从 0.378 涨到 0.569,30 个 EARS 说话人全部提升,而生成端始终只拿 8 个向量。向量还携带说话方式:固定 speaker embedding 不变,快读让输出短 7.0%,慢读长 13.4%,高音参考把音高平均抬高 6.01 个半音。它们与常规 speaker embedding 互补:线性预测同说话人另一段录音的 WavLM embedding,单用任一约 0.44,拼接后 0.469,63 个 held-out 说话人中 58 个提升。
机制实验把「文本为什么有用」拆开了。参考文本 token 逆序,只破坏连贯性和文本-音频对应,SIM 从 0.538 掉到 0.497;用 activation patching 把逆序运行中第 3、6 层的参考音频隐状态换成正确文本运行的对应状态,SIM 恢复到 0.545,第 9 层换 8 个 query 状态同样有效,恢复到 0.542。文本的好处先写进中间层音频表示,再汇聚进压缩向量。
全量英文语料训练后,118M 生成器在三个基准上 WER 和 SIM 都超过官方 MOSS-TTS-Nano 的对应克隆模式。RSE 再叠加续写,三个基准的 WER 全部低于受测的 CosyVoice 3 和 MOSS-TTS-Local,SIM 逼近这两个大模型,生成链合计 129M 参数,分别小 6.6 倍和 30.5 倍。纯续写模型(同初始化、同数据)SIM 更高,Seed-TTS 上 1.45/0.591 对 RSE 的 1.33/0.552;RSE 换来的是更低 WER 和固定大小的参考接口。
对做端侧或紧凑型克隆 TTS 的人,这是能直接抄的架构决策:一份主干参数同时干编码和生成,省 48%。「预训练生成器权重能当编码器初始化」的迁移结论,加上 patching 的因果定位,把 reference conditioning 从黑盒调参往机制理解推了一步。也得说实话:生成质量是对 MOSS-TTS-Nano 的渐进改进,卖点是效率和分析深度,不是新的质量上限。
论文自述三条:固定大小条件的相似度仍落后续写式,差距在生成开局就出现,作者怀疑 teacher forcing 让模型过度依赖声学历史,压缩损失是另一个候选原因;必须提供参考文本转写,音频-only 场景得先过 ASR,鲁棒性未验证;实验只有英文。
另有几点存疑。训练语料是 in-house,规模与成分未披露,复现困难。对比系统用各自官方默认采样设置,采样对指标的影响没有控制。纯 RSE 与 CosyVoice 3、MOSS-TTS-Local 的正面对照数字正文没给,WER 优势结论只覆盖 RSE 加续写的组合。全文没有人工听感评测,自然度只能靠 SIM 和 WER 间接推断。