Facto:先解耦再离散化,线性分解让语音 token 更稳健
kastnerkyle · x · 2026-11-21
Ubisoft La Forge、Concordia 等机构在 arXiv 发布论文《Factorized Self-Supervised Speech Tokenization》,提出语音分词器 Facto,入选 NeurIPS 2026。
核心思路:
- 传统语音 tokenizer 需要同时压缩内容、韵律、说话人身份和录音环境等信息;
- Facto 先用简单的线性分解把时变信息(内容+韵律)与静态成分(说话人身份、录音条件)解耦,再做聚类离散化;
- 移除静态成分后,token 对噪声扰动明显更稳定,论文通过多种噪声条件下的 token 稳定性实验验证了这一点;
- 作者还给出分解质量随训练说话人数增长的收敛与 scaling 理论分析,并训练轻量解码器从 token 重建音频。
下游评测显示:token 稳定性的提升转化为更好的 TTS 表现,并在其他任务上取得有竞争力的结果,有望改进 SpeechLLM。
「多模态」频道最新
- 阿拉伯创作者实测 HeyGen 剪辑:视频编辑水准上台阶 — aziz4ai · 2026-11-21
- 8 天 2300 次 commit:Claude 造出逐笔毛刷模拟的 AI 油画引擎 aibrush — FotoRe_store · 2026-11-21
- AGI 等不及了:AI 生成音乐视频调侃《GTA6》十三年难产 — Yamapama · 2026-11-21
- Meta AVTR:让多模态模型学会「视觉想象」,16 基准平均提升 4.5 分 — liuzhuang1234 · 2026-11-21
- DeepMind Genie 4 世界模型上线 Comfy 可直接试玩 — EnvironmentalDay7419 · 2026-11-21
- 用CUT+本地ComfyUI拍出Roblox风恐怖短片,工作流公开 — rileygstaliger · 2026-11-21