VoxMel TTS:免 tokenizer 自回归语音合成,Haar 变换分层生成
VoxDance-Lab · hf · 2026-11-17
VoxDance Lab 发布 VoxMel TTS 技术报告:一个 tokenizer-free 的自回归语音合成框架。
- 核心思路:用可逆的二维 Haar 变换把 mel 频谱图分解为 Coarse-Mel 层与残差层
- 自回归阶段只对 Coarse-Mel 帧做下一帧预测(LM backbone + Flow Matching Head,无学习型声学 tokenizer);非自回归阶段重建时间残差与频率残差,最后经 Vocos vocoder 输出 24 kHz 波形
- 条件输入包括目标文本(Qwen2.5 文本 token)、参考转写与参考语音
- 报告称在识别准确率与说话人相似度上取得稳定的高保真生成结果
免 tokenizer 设计避免了离散声学 token 的信息损失,是小津幅/高保真 TTS 的一个有趣架构方向。
「多模态」频道最新
- Posewright 开源小工具:为 img2img 生成精准摆人偶姿势 — ForesterAI · 2026-11-17
- 网友用 Seedance 2.5 生成温馨 3D 动画片段并公开 Prompt — aftahi_ai · 2026-11-17
- 光雨同落:AI 生成「晴空降雨」氛围感风景图惊艳 — Kyrannio · 2026-11-17
- Carbon 模型一次生成可直接树脂打印的国际象棋棋子 — Scobleizer · 2026-11-17
- 复古科幻风 AI 生成图集「最后的视界」爆火出圈 — Kyrannio · 2026-11-17
- Seedance 2.5 生成视频逼真到被误认为实拍画面 — SimplyAnnisa · 2026-11-17