WaveNet 发表十周年:作者回顾语音合成从波形生成到多模态 LLM
heiga_zen · x · 2026-09-09
Google 语音合成研究者 Heiga Zen 撰文纪念 WaveNet 发布十周年。2016 年他与 DeepMind 研究者合作推出 WaveNet,以直接生成原始语音波形的方法取代当时的拼接式与统计参数式合成。
十年演进脉络:
- Tacotron 等编码器-解码器模型实现文本到声学特征的端到端生成
- VITS、NaturalSpeech 等模型绕过中间表示,直接输出高质量波形
- AudioLM、VALL-E 借 SoundStream 将语音 token 化并入 LLM 框架
- 如今以 Gemini 为代表的多模态 LLM 已能无缝融合多模态信息生成自然对话
他展望下一个十年:更精细的上下文与情感表达、超低延迟对话、与机器人的整合。
所属事件:WaveNet 发布十周年:作者复盘语音合成范式十年变迁(5 条相关)→
「多模态」频道最新
- MOSS Image Edit 对比 Fibo-2.0-edit:五组编辑效果实测 — Illustrious_Row_9971 · 2026-10-27
- 纯用雾气和建筑做出电影级片头:ComfyUI 图生视频工作流分享 — magratheya_64 · 2026-10-27
- Fish Audio 开源发布 Drama 3 TTS,博主演示旧帖一键转有声视频 — alex_verem · 2026-10-27
- Reddit 用户用 ComfyUI 生成逼真「清晨公交」短片 — no3us · 2026-10-27
- 网友为 MOSS 模型做模糊/防模糊 Slider LoRA,负权重让背景更清晰 — NoMouse9610 · 2026-10-27
- PixGR:像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27