LiveFoley generates real-time video-to-audio with 156ms latency on one GPU

victor_explore · x · 2026-11-08

LiveFoley (arXiv 2611.05988) 是一种流式视频转音频 (V2A) 生成模型，面向游戏、AR/VR 和实时视频等沉浸式交互环境，在单个 GPU 上实现了 156ms 的端到端延迟。

该论文解决了先前流式 V2A 方法的两个瓶颈：

视觉前端：现有的截断感受野（truncated receptive fields）会破坏视听对齐。LiveFoley 引入了一种尾随滑动窗口（Trailing Sliding Window），无需重新训练即可将非因果片段级编码器转换为流式模块，并通过可配置的跳数（hop size）将前瞻延迟保持在人类感知阈值以下。
音频后端：它使用带有更宽去噪窗口的局部扩散 transformer（LocDiT）代替了逐块扩散去噪——历史 LocDiT 添加了过去上下文而无需额外延迟，并且还提出了一个 Future-Warmup 变体，以及一个支持不同延迟/计算预算的 Unified Varhop Framework。

论文、项目页面和演示均可用。

More from Multimodal