一个 0.6B 单模型同时学频谱与波形,Seed-en 上词错率 1.47

WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

Sang-Hoon Lee, Ha-Yeong Choi

NeurIPS 2026

cs.SD, cs.AI, eess.AS, eess.SP

2026-11-09

WaveGen 用单个扩散模型直接生成 24 kHz 波形:内部同时学习梅尔轨迹与目标波形,不另训 codec、声码器或时长预测器。0.6B 在开源 Emilia 上一阶段训练后,Seed-en 的 WER 为 1.47,SIM 为 0.75。

这篇在解决什么

零样本 TTS 的主流仍经过中间表示。codec 预测离散语音 token,Mel 系统先出频谱再交声码器,latent diffusion 还要预训练压缩空间。模块一多,训练就被拆段,音质上限也交给上一级。VITS 能直接出波形,依赖的是 GAN 和变分推断,目标也不是未见说话人的提示生成。E3-TTS 把扩散做到波形上,文本仍靠 BERT,序列长了算力就上去。

WaveGen 收成一个模型、一次训练:文本进,24 kHz 波形出。不接 codec、声码器、VAE,不单训时长预测器,不用 BERT、Wav2Vec 2.0 和语义蒸馏。24 kHz 波形太密,普通 CFM(条件流匹配,学一条从噪声走到数据的速度场)对不齐文本。

方法

波形先重排到 100 Hz,DiT(以 Transformer 做骨干的扩散网络)在帧上做流匹配。文本嵌入做平均池化后拉到与语音等长,小模型不接预训练编码器。训练用掩码补全:提示段留下,损失只算被遮住的生成段。

只监督波形,对齐会散。Spectral Forcing 就在同一模型里再预测一条 64 bin 的 Mel,当作内部频率引导,不外接解码器。bin 越宽,模型越顾重建。在 LibriTTS 小模型上去掉引导,词错率 WER 为 123.67,说话人相似度 SIM 为 0.19。256 bin 的 WER 仍是 126.50;64 bin 降到 4.96,SIM 0.47,神经音质分 DNSMOS 3.72。线性谱训到数值发散。64 bin 是对齐速度和高频细节的折中。数据一大,模型会依赖频谱重建,对齐变晚,于是加上宽 32、dropout 0.2 的两层 MLP,推理也保留。

对齐用共享 DiT,波形和频谱各接浅层头。18 层全共享 WER 7.83;14 层共享加 2 个分头降到 4.96;4 个分头回到 7.64。

网络预测干净波形和频谱(x-prediction),损失比较速度(v-loss)。预测先换算成速度,再和轨迹上的真实速度做差。直接优化干净样本会出现金属噪声,没有量化数字。改预测速度后 WER 3.93,SIM 0.48,DNSMOS 掉到 2.94;预测干净样本时 WER 5.57,DNSMOS 为 3.45。

多尺度频谱 v-loss 把速度误差送进六档频谱,bin 从 512 收到 16,再按真实能量归一化,权重 0.1。直接搬 Flow2GAN 的频谱损失,WER 会到 68.82。只留多尺度项,WER 升到 16.98;和波形、频谱两项合用,WER 4.96,DNSMOS 3.72。

采样 32 次前向,用 Euler 求解,无分类器引导 CFG 取 2,文本条件只在 t < 0.02 去掉。放宽到 t < 0.5 会损相似度,幅度没有给出。提示区每步按真实语音和噪声重新插值,避免模型改写提示。

对外报告的 0.6B 来自另一套前端:ConvNeXt 文本编码器加上 filler token,用来把文本填到语音长度,24 kHz 下帧移 480,帧率 50 Hz。

结果

Seed-en 上,WER 用 Whisper 转写,SIM 用 WavLM-Large。表里基线的参数不含外置解码器。

方法规模WER↓SIM↑
真人-2.140.73
F5-TTS0.3B2.000.67
ZipVoice0.1B1.700.69
CosyVoice3-RL0.5B1.680.69
Qwen3-TTS0.6B1.680.70
Qwen3-TTS1.7B1.500.71
VoxCPM0.5B1.850.72
WaveGen-S0.1B4.420.53
WaveGen-B0.4B1.770.63
WaveGen0.6B1.470.75

0.6B 用约 10 万小时中英数据,一阶段训完,WER 1.47,SIM 0.75,略高于真人 0.73。S 与 B 是约 12 万小时英文,WER 分别是 4.42 和 1.77。Qwen3-TTS 与 VoxCPM 的数据量在表中没写,不能当成同数据对照。WER 低于真人的 2.14,多半是评测对合成语音偏松。

听测只有 S 和 B。B 的自然度 nMOS 为 4.000±0.126,真人 4.117±0.112;相似度 sMOS 为 3.988±0.037,与 F5-TTS 的 3.989、Qwen3-TTS-1.7B 的 4.008 重叠。0.6B 没有听测。

同架构的小数据对照里,真值 Mel 进 113M 声码器,WER 1.47,SIM 0.70,DNSMOS 3.32。两阶段 226M 总共 32 步,WER 5.17,SIM 0.47,DNSMOS 3.59。端到端 210M、同样 32 步,WER 4.68,SIM 0.50,DNSMOS 3.71,RTF 0.12。两阶段加到 64 步,WER 4.39,SIM 0.46,DNSMOS 3.53,RTF 0.16。同一套小数据上 407M 的 WER 为 2.91。A100 上不做加速,113M 的 RTF 为 0.08,407M 为 0.24。实时率 RTF 是生成耗时除以音频时长。

WaveGen-B 走 4 步时 WER 52.0,8 步 4.85,32 步 1.77,SIM 0.63;100 步 WER 1.84,SIM 0.64。

公开 Emilia 的英中对照、680M、频谱 dropout 0.2、打开提示锚定:英文 WER 1.47,SIM 0.75,UTMOS 3.68;中文 CER 1.75,SIM 0.80,UTMOS 2.87。UTMOS 是另一套神经音质分,CER 是字错率。同表 ZipVoice 英文 1.70 / 0.69,F5-TTS 1.83 / 0.67,WavTTS 1.50 / 0.65。英文词错和相似度更好。中文 CER 高于 ZipVoice 的 1.40 和 F5-TTS 的 1.56,SIM 高于真人 0.76。频谱 dropout 0.5 且不锚定,英文 WER 可到 1.39,SIM 只有 0.70。报告点取的是 1.47 和 0.75。

表征对齐 REPA 只在 LibriTTS 小模型上用 Whisper-small 试过,WER 从 4.96 降到 3.54,SIM 从 0.47 升到 0.54。主模型没加。

为什么重要

省下的是级联。一个模型同时对齐和出波形,不必再维护 codec、时长预测器和 GAN 声码器,数据用公开的 Emilia,一次训完,代码和检查点已公开。0.1B 的 WER 还有 4.42,0.6B 才到 1.47。规模起作用,前提是预测空间、频谱瓶颈和分头先配对。英文相对 Qwen3-TTS 和 VoxCPM 只是小幅领先,32 步下 0.4B 的 RTF 还有 0.24。它适合当少组件的研究基线。中文可懂度没有一起领先。

局限与存疑

0.6B 以外大约只训 4 个 epoch,1.1M step、四张 GPU。0.6B 是八张 GPU、11 个 epoch。更长训练没有对照。REPA 能帮小模型,大模型为躲开自监督表征没使用,这块增益留在外面。48 kHz 没有做。

Emilia 来自 MP3。用它训出的模型很难生成 8 kHz 以上的能量,换到 LibriTTS 的 WAV,高频明显更满。音质要模型自己学,压缩会变成上限。

1.47 与 0.75 来自 ConvNeXt、filler token 和 50 Hz 帧率,平均池化配 100 Hz 是小模型设置。表中参数不含解码器,听测没有 0.6B。总步数同为 32 时,端到端词错低于两阶段;加到 64 步后,两阶段 WER 4.39,这时更低。提示锚定把提示区固定在真实轨迹,SIM 有没有去掉这段,正文没写。中文 CER 不是同表最优。

术语

原文与代码

相关论文

全部论文解读