全因果连续音频自编码器 AudioCodex:10Hz 潜变量,解码比实时快约 2 倍

AudioCodex: Streaming Autoencoders for Live Audio

Marco Pasini, Javier Nistal, Cyran Aouameur, Stefan Lattner, George Fazekas

cs.SD, cs.LG, eess.AS

2026-11-09

AudioCodex 是首个全因果、连续潜变量的通用立体声自编码器,潜序列约 10Hz,gFAD 3.70 优于三个非因果基线,单步解码在 A100 上快约 2 倍于实时。

这篇在解决什么

做实时生成音频(伴奏、对话、交互合成)需要一个压缩器,把波形变成短序列,让下游生成模型在里面工作。现有的通用音频自编码器有两个毛病。一是多为双向处理、非因果,没法边来边编、边出边解。二是能做流式的多是语音方向的离散 token 模型,而 flow、diffusion 这类生成框架更适合连续潜变量。

再加上老问题:潜变量保留的细节越多,下游越难学;压得越狠,重建越糊。AudioCodex 要在严格因果的前提下,同时把这两头都拉到可用的位置。

方法

整体分两段,各自独立训练。

训练数据是 Unsupervised People's Speech、Freesound、FMA 按 4:3:3 混合,幅度模型 500k 步,batch 72,3 张 A100。

结果

下游生成质量用小型潜空间 rectified-flow transformer 测 gFAD(越低越好),重建用 rFAD。

方法rFADgFAD
AudioCodex dz=1280.7733.696
AudioCodex dz=2560.5934.168
AudioCodex dz=5120.5446.259
CDC(连续模式)0.3045.065
M2L0.9435.241
SAO1.1519.518

gFAD 上 AudioCodex 的 dz=128 和 256 都优于三个非因果基线。rFAD 上 CDC 的 0.304 比 AudioCodex 任何一档都低。频谱 L1 指标上 dz=256 的 STFT 0.098、MEL 0.065,优于 CDC 的 0.114、0.079。所以「匹配或超过几乎所有基线」要打折,重建 FAD 并不占优。

消融里几个数字:复数 STFT 的 consistency 模型 2.17/4.81(rFAD/gFAD),Mean Flow 加幅度解耦 0.82/3.61。加 REPA 后到 0.79/3.45。均匀噪声增强把 rFAD 推到 0.99。dz 从 64 到 512,rFAD 由 1.29 降到 0.61,gFAD 由 2.58 升到 4.64,是一条清楚的取舍曲线。相位估计器双判别器 0.25,单用任一个是 0.41 或 0.31。

速度(A100,48kHz 立体声,torch.compile):单个潜变量帧编码 6.80ms(12.56 倍实时),解码含相位估计 41.38ms(2.06 倍实时)。整段 10 秒非流式,编码 528.8 倍,解码 114.1 倍实时。

为什么重要

对做实时音乐或语音生成的人,这是少见的开源方向:连续潜变量加严格因果,可以直接接 flow 类生成器。dz 三档同时训练,使用者按场景选偏重建或偏生成。

不过流式解码只有约 2 倍实时余量,放进真实的生成管线再叠一个生成模型,预算会很紧。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读