Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning
Jian Chen, You Zhang, Mark Vinton
eess.AS, cs.CL, cs.SD
2026-09-30
把 IndexTTS2 的自回归解码换成掩码预测并蒸馏渲染器:克隆质量接近教师、整体 4.76 倍实时,参考音频不用转写。
零样本语音克隆(拿一段几秒钟的参考音频,用陌生人的音色念任意文本)一直是个三选二的问题。以 IndexTTS2 为代表的自回归系统质量和表现力在第一梯队,但语义 token 只能逐个生成,速度低于实时,交互场景用不上。F5-TTS、MaskGCT 这些非自回归方案并行解码够快,却普遍要求推理时拿到参考音频的文字转写:参考是 ASR 不支持的语言、婴儿咿呀或者无意义发音时,转写要么为空要么是幻觉,系统在输入端就垮了。非自回归还有个前置麻烦,定长并行解码必须先知道目标时长。
Tacit-TTS 是 Dolby 的答案:从 IndexTTS2 蒸馏出一个 836M 模型,快、免转写、免预定时长三件事一次做齐。
管线仍是两段式,文本到语义 token(T2S)加语义到音频(S2A),训练只喂教师合成的数据,不碰教师那 5.5 万小时原始语料。
T2S 阶段把教师 527M 的自回归 Transformer 换成 269M 的双向 DiT,用 MaskGIT 式解码:从全 [MASK] 序列出发,每轮对所有掩码位并行预测,只提交置信度最高的一小部分,默认 12 轮收尾。前向次数固定、与输出长度无关,这是延迟和句长脱钩的来源。条件沿用教师预训练的 w2v-BERT 加 Perceiver 编码器提取说话人与情绪嵌入(这套条件本来就不要转写),文本嵌入先上采样到目标语义长度再与语义嵌入融合,序列长度保持在 T,等于自带文本对齐先验。
时长估计完全不用学,纯信号处理:对参考音频算 RMS 能量,YIN 检出浊音段,数出间隔至少 100 ms 的能量峰当作声学音节数;参考的语义帧数除以音节数得到语速,钳在每音节 7-12 码,再乘目标文本的音节数(中文字即音节,英文用 textstat 规则估计)得到目标长度。零参数零训练,换语言不用重做。
蒸馏数据由教师合成:874k 条、约 2k 小时、2739 个说话人,参考语音配上与内容无关的目标文本过一遍教师,只存语义码和隐特征,音频本身都不用存。一个 Transformer 主干带两个头:掩码预测头学离散语义码;残差恢复头把教师渲染器额外需要的连续隐变量从语义码里补回来,下游接口原封不动。mask 比例按余弦分布采样,量化成 16 档经 AdaLN 注入每个 block。
S2A 阶段沿用教师的 flow-matching DiT 和 BigVGAN,先在学生产出的条件分布上微调,再跑 25 步求解器录下(噪声,mel)配对、在配对上重训把轨迹拉直,Euler 步数从约 25 压到 8,质量基本不掉。
四个标准测试集,协议沿用 IndexTTS2:
| 系统 | LibriSpeech SS/WER | SeedTTS-en SS/WER | SeedTTS-zh SS/CER | AISHELL SS/CER | 整体速度(×实时) |
| CosyVoice2 | 0.843 / 6.00 | 0.794 / 3.28 | 0.846 / 1.45 | 0.834 / 1.97 | 1.03 |
| F5-TTS | 0.821 / 8.04 | 0.803 / 1.94 | 0.844 / 1.51 | 0.831 / 3.67 | 2.63 |
| Tacit-TTS | 0.875 / 5.54 | 0.849 / 2.34 | 0.829 / 1.71 | 0.804 / 2.21 | 4.76 |
| IndexTTS2(教师) | 0.870 / 3.12 | 0.860 / 1.52 | 0.865 / 1.01 | 0.843 / 1.52 | 0.81 |
两个英文集的说话人相似度都是可部署系统里最高,LibriSpeech 的 WER 同样拿下第一;两个中文集全面落后 CosyVoice2,论文把原因归到训练说话人 2342 英对 397 中的失衡上。
延迟拆开看(约 5 秒输出、单张 A100):T2S 从 5274 ms 降到 199 ms,26.5 倍;S2A 从 875 到 310 ms;生成合计 6149 到 509 ms,12.1 倍。加速比随句长走:4 秒时 9.0 倍,30 秒附近冲到峰值 14.9 倍,超过两分钟因非自回归阶段 O(n²) 的全注意力回落到 11.8 倍,「10 倍以上」只对长于 5 秒的输出成立。
免转写的价值要靠压力测试显形。8 种语言(含约鲁巴语、印地语)跨语参考下,依赖转写的基线在英文目标上 WER 冲到 20-47%,CosyVoice2 有三分之一参考直接生成失败,MaskGCT 在俄语、阿拉伯语上全部失败;Tacit-TTS 零失败,SS 0.789、WER 0.10%。拿婴儿咿呀声当参考,基线 WER 落在 31-99%,Tacit-TTS 只有 3.24%,SS 0.603 反超教师的 0.484。
4.76 倍实时、836M 参数,加上英文侧第一梯队的相似度,克隆第一次同时满足「快过实时」和「质量能打」,实时语音 agent、翻译配音这些场景直接可用。免转写条件扩出了新使用面:没转写的素材库音频、低资源语言、非词声音都能当参考,transcript 方案在这些输入上是死路。
蒸馏配方本身可能比模型更值钱:2k 小时教师合成数据、双头损失保住连续隐变量接口、reflow 顺手加速渲染器,全程不需要教师语料。手里有强 AR TTS 又要压推理成本的团队,这条路可以照抄。
中文是明显短板,两个中文集的 SS 和错误率都排不进前二,论文自己承认训练数据说话人失衡难辞其咎。和教师的差距也没抹平:LibriSpeech WER 5.54 对 3.12,感知质量(UTMOS/DNSMOS)只能说接近。
主表基线的质量数字取自 IndexTTS2 论文,指标一致但并非同环境重跑;跨语与非词实验的基线是作者自己跑的,那部分更硬。
时长估计器只报了与真实时长的 Pearson 相关「与其他系统相当」,具体数字压在附录;对非典型语速、口吃这类输入,唯一的保护是钳制区间。
伦理上论文表态直白:免转写让任意录音都能当克隆参考,门槛更低,建议部署时强制本人同意、加音频水印和合成语音检测。