CTC-TTS 论文:用 CTC 对齐替代 MFA,实现低延迟双流语音合成
kastnerkyle · x · 2026-09-13
arXiv 论文提出 CTC-TTS,一种基于 LLM 的双流式文本转语音系统。针对现有 LLM-TTS 多不支持低延迟双流合成的问题,作者用基于 CTC 的神经对齐器替代流程繁重的 MFA 强制对齐工具,并引入 bi-word 交错策略替代固定比例的文本-语音 token 交错。
论文设计了两个变体:
- CTC-TTS-L:token 沿序列长度拼接,追求更高合成质量;
- CTC-TTS-F:embedding 沿特征维度堆叠,追求更低延迟。
实验显示,CTC-TTS 在流式合成与零样本任务上均优于固定比例交错和基于 MFA 的基线方法。论文已提交至 INTERSPEECH 2026。
「多模态」频道最新
- AI 生成多力多滋 U 盘产品图,连材料说明都一本正经 — Delahuntagram · 2026-10-31
- Krea 2 + H3 做视频 Morph，配乐由视觉模型分析自动生成 — Accurate_Public4674 · 2026-10-31
- Suno 推出 MCP Beta,开发者用它做出音画同步动态图形 — enggirlfriend · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 38K 粉作者公开超写实恐怖片级 Veo 视频提示词模板 — LudovicCreator · 2026-10-31
- 用 Seedance 2.5 生成恐怖短片：废弃医院走廊连续运镜 — LudovicCreator · 2026-10-31