RSE-TTS 论文：复用 TTS 主干做声纹编码，参数省 48%
kastnerkyle · x · 2026-11-13
论文提出 RSE-TTS，核心发现是预训练自回归 TTS 主干可被复用为参考语音编码器，把参考音频与转写文本联合压缩成 8 个连续向量，从而提升后续合成的说话人相似度。
要点：
- 共享生成主干使 encoder-generator 参数较独立预训练编码减少 48%
- 118M 参数生成器在全部三个英文基准上，WER 与说话人相似度均优于 MOSS-TTS-Nano 官方克隆模式
- 结合声学续写，可达接近更大系统的相似度，WER 低于 CosyVoice 3 与 MOSS-TTS-Local
- 消融与激活干预实验追溯了文本信息如何经中间声学表征影响压缩向量
「多模态」频道最新
- Ampere 无 fp8，作者为 20/30 系显卡重制 Krea 2 int8 版 — in_habitants · 2026-11-13
- Tripo 上线 Agentic Canvas：AI Agent 自动编排 3D 资产生成工作流 — LudovicCreator · 2026-11-13
- 阿拉伯语作者的 20 页图像生成 Prompt 完整教程 — aziz4ai · 2026-11-13
- 「未来开始显露出被使用过的痕迹」：两张宏大 AI 科幻场景图 — piotrbinkowski · 2026-11-13
- 「你写下的一切」：野兔与手稿田野的忧郁 AI 插画 — viksit · 2026-11-13
- Reddit 用户发布三国题材 AI 动画系列第二集 — ZealousidealSell8121 · 2026-11-13