0.08秒前瞻,LiveFoley音画对齐追平离线模型

LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds

Yusheng Dai, Vladimir Iashin, Kangdi Wang, Yuxuan Jiang, Ilpo Viertola, Weiqiang Wang, Qiuhong Ke, Min Zhao, Jianfei Cai

cs.SD, cs.MM

2026-11-04

LiveFoley 以 0.08 秒前瞻流式生音频,DeSync 0.48 追平离线 0.47,单卡 156 毫秒出声。

这篇在解决什么

互动场景里,画面一动声音就要跟上。世界模型能同步出音视频,但声音绑在它自己的视频生成器上,接不进游戏引擎、AR/VR 和摄像头。流式 video-to-audio(V2A,按实时像素流合成声音)不挑画面来源,视觉编码和音频合成却得挤在人耳听不出延迟的预算里。

无参考用户研究把预算测了出来。离散动作声最严,大约 0.34 秒就听得出落后;语音大约 0.49 秒;自由漫游的环境声大约 0.85 秒。射击和漫游不该用同一档延迟。

对齐靠分段编码器 Synchformer:16 帧、25 fps 下 0.64 秒,段内双向注意力,token 要等整段到齐。V-AURA 的前端前瞻因此是 0.64 秒。SoundReactor 改用逐帧 DINOv2,前瞻 0.08 秒,对齐明显变差。窗口一缩小,下游对齐就单调变差,因为对齐吃的是每段的时间上下文。音频侧则是另一笔账:离线扩散把所有 patch 一起去噪,流式 LocDiT(局部扩散头)每次只修当前一块,历史只从语言模型隐状态里间接看见。

方法

LiveFoley 是外挂式声音引擎。前端把冻结的 Synchformer 改成流式,后端把去噪窗口从单块加宽。

尾部滑窗(Trailing Sliding Window)把窗口尾巴钉在当前帧,输入只有当前帧和历史;不够的历史用第一帧填充,第一声不用等满 16 帧。感受野仍是 8 个 token 的双向注意力。前瞻只跟步长 s:每来 2s 帧滑一次,吐出 s 个新 token。s 取 1、2、4,前瞻就是 0.08、0.16、0.32 秒。缩窗口会丢对齐,缩步长只是算得更勤。

0.34 秒和 0.85 秒的场景不必各训一个专家。Synchronizer 是一个两层 Transformer:对 8 个 token 做位置编码和窗内聚合,取最后 s 个,再加延迟模式嵌入。三种步长按 batch 轮流学,推理时一个权重按场景切,输出固定 12.5 Hz。s=4 的前端抽取次数是 s=1 的四分之一。这套叫 Unified Varhop。

音频用因果 VAE 的连续潜变量。16 kHz 单声道是 25 Hz 潜变量、两帧一块;48 kHz 立体声是 50 Hz、四帧一块。语言模型都跑在 12.5 Hz,一步一个视觉 token。LM 为 28 层 MiniCPM,从零训练;LocEnc 把上一块干净结果压成嵌入,拼上当前视觉 token 送入 LM;12 层 LocDiT 用 flow matching 把噪声沿直线修成干净 patch,再反馈下一步。

History LocDiT 是默认。前两块已生成的干净 patch 进入去噪窗口,不增加后端前瞻,加进来的是已经生成完的过去块。

未来块的条件依赖当前块的干净结果,直接加进窗口会形成死锁。Future-Warmup 用当前隐状态配下一个视觉 token,造一个近似条件,两块一起去噪。训练时两块都计损失;推理时未来块是预热,丢掉后下一步用真实隐状态重算,多 0.08 秒前瞻。把自回归速率减半来一次看两块,对齐会掉,所以只作对照。

长序列用 attention sink 和滚动 KV cache,训练序列大约 9.92 秒。

结果

主表是 VGGSound 测试集上的 8 秒片段。分布看 FDPANNs 与 FDPaSST(越低越接近真实音频),音质看 IS 和 PQ,语义对齐看 ImageBind(IB),时间对齐看 DeSync(秒,越低越齐)。默认 History LocDiT、s=1,前端前瞻 0.08 秒。

方法指标结果
MMAudio-L(离线)DeSync / FDPANNs / FDPaSST / IS / IB0.47 / 8.48 / 74.16 / 11.62 / 0.31
LiveFoley-48kDeSync / IS / PQ0.48 / 11.42 / 6.26
LiveFoley-16kFDPANNs / FDPaSST / DeSync / KL / IB9.56 / 92.48 / 0.50 / 2.24 / 0.29
WorldSonus(前瞻 0.10 秒)DeSync / FDPANNs / FDPaSST0.67 / 16.32 / 197.68
V-AURA(前瞻 0.64 秒)DeSync / FDPaSST0.69 / 245.25
SoundReactor(原文,前瞻 0.08 秒)DeSync / FDPaSST1.03 / 113.00

48 kHz 的 DeSync 0.48,与离线 MMAudio-L 的 0.47 并排;流式基线在 0.67 到 1.03。16 kHz 的 FDPANNs 9.56、FDPaSST 92.48 是流式最好;92.48 仍高于 MMAudio-L 的 74.16,此项越高越差。48 kHz 的 PQ 6.26 全表最高,FDPaSST 却到 128.34,比 16 kHz 差。离线 AudioX 的 IS 为 13.34,DeSync 为 1.22。

听测里,LiveFoley 的 MOS-Q 3.23、MOS-A 3.58,在线系统中领先,对齐接近 MMAudio-L 的 3.79。免训练分块版 MMAudio 的 KL 2.11 全表最低,接缝听得见。

Curated 子集有 1485 条,去掉语音、人脸和画外声,用来比前端,骨干是 V-AURA。同样 0.08 秒前瞻,SigLIP2 与 DINOv2 的 DeSync 为 1.14 和 1.10,尾部滑窗 Synchformer 为 0.61;VideoMAE-V2 用 0.64 秒才到 0.88。分块窗口从前瞻 0.32 秒收到 0.08 秒,DeSync 从 0.67 掉到 0.88;尾部滑窗停在 0.60 到 0.61。

统一模型和单步长专家的 DeSync 打平,s=1 都是 0.47,分布距离略差;去掉 Synchronizer 大约差 0.03。同一套消融里,History 把 FDPANNs 从 21.08 降到 17.55,FDPaSST 从 154.62 略升到 158.04。Future-Warmup 为 16.88 与 143.92,DeSync 0.46。Low-Rate 为 DeSync 0.54、FDPaSST 180.52。

A800 上 s=1 的端到端墙钟为 156 毫秒。Future-Warmup 按 156 毫秒加 0.08 秒,约 236 毫秒,低于动作声大约 0.34 秒的察觉线。

为什么重要

游戏和头显要的是外挂声音:画面管道已经在跑,延迟还得按场景调。尾部滑窗不重训分段编码器,感受野留在 0.64 秒量级,前瞻收到 0.08 秒。一个权重在 s=1、2、4 之间切,漫游用 s=4,前端计算约降到四分之一。

相对离线模型,补上的是对齐,音质仍差一截。因果模型只能按已经看到的帧把声音定死。History LocDiT 不加延迟;Future-Warmup 再进一步,得付 0.08 秒,并接受近似的未来条件。墙钟目前只报告了 A800 上的 s=1。

局限与存疑

流式音质要追平离线的全局去噪,怎样补上仍没有答案。Future-Warmup 同时多看一个视觉 token,又用近似条件,FDPaSST 从 158.04 降到 143.92 里各占多少,没有分开测。236 毫秒把测得的 156 毫秒和额外的 0.08 秒加在一起,没有单独重测。

DeSync 由 Synchformer 计算,视觉条件也是冻结的 Synchformer。和 MMAudio 比还能站住,两边都用分段同步特征,0.48 对 0.47。和 DINOv2、SigLIP2 比,指标与条件同源,差距可能偏大。MOS-A 和 ImageBind 方向一致,听测样本量在附录。

主结果和前端消融不在同一个集合上。全量 VGGSound 里画外解说和背景音乐很多,Curated 才去掉,而且那组骨干是 V-AURA,两组数字不能横比。用户研究是无参考协议,和广播标准 ITU-R BT.1359 口径不同。训练约 2000 小时(74.5 万条),含野外视频和第一人称,评测仍是 8 秒片段,更长会话没有长时结果。

术语

原文与代码

社区讨论

相关论文

全部论文解读