WaveGen 提出 Spectral Forcing，跳过编解码器实现端到端文本转波形 SOTA
Ajou · hf · 2026-11-11
Ajou 团队发布 WaveGen（NeurIPS 2026），一个真正端到端的文本转波形扩散框架。
- 通过 Spectral Forcing 在同一共享 DiT 主干上联合学习频谱轨迹与波形轨迹：共享 DiT blocks 输出接到分离的波形 DiT head 与频谱 DiT head，两个状态在同一扩散时间步联合更新并互相喂给下一步去噪。
- 完全不需要外部音频编解码器、vocoder、latent 模型、对齐模块或自监督表征，从文本（可选参考语音）直接生成波形。
- 作者报告在 text-to-speech 上取得 SOTA 结果。
代码与模型见项目页。
「多模态」频道最新
- 开发者全公开用 AI 打造奢侈品香水品牌视频广告 — saheedniyi_02 · 2026-11-11
- 2D 图像一键转 3D 的新演示 — azed_ai · 2026-11-11
- Fable 5.2 商标 3D 动效演示:金属反光质感惊艳 — FinanceYF5 · 2026-11-11
- Claude 驱动 AI 原生音乐工作站,一句话自动编曲成歌 — FinanceYF5 · 2026-11-11
- 一条 prompt 出 90 秒动画短片:火车变形机器人自带配乐 — FinanceYF5 · 2026-11-11
- Fable 5.2 五个演示:骑车鹈鹕到 AI 原生音乐工作站 — FinanceYF5 · 2026-11-11