LiveFoley:单 GPU 156ms 延迟实时为视频生成音效
victor_explore · x · 2026-11-08
LiveFoley(arXiv 2611.05988)是一个流式视频转音频(V2A)生成模型,面向游戏、AR/VR 和实时视频等交互式沉浸场景,在单张 GPU 上实现 156ms 端到端延迟。
论文针对以往流式 V2A 方法的两大瓶颈:
- 视觉前端:截断感受野破坏视听对齐。LiveFoley 提出 Trailing Sliding Window,无需重训即可把非因果的分段级编码器转为流式模块,并用可配置的 hop size 把前瞻延迟压到人类感知阈值以下。
- 音频后端:用局部扩散 transformer(LocDiT)并扩大去噪窗口替代逐 patch 去噪——History LocDiT 免费加入历史上下文提升质量,另有 Future-Warmup 变体,以及适配不同延迟/算力预算的 Unified Varhop 框架。
论文、项目页与演示均已放出。
「多模态」频道最新
- ComfyUI 生态视频超分模型 RelayVSR 登上 Hugging Face 热榜 — Comfy-Org · 2026-11-08
- Midjourney 风格码 --sref 787130812 出图：笔触感冲浪油画 — sergeantsref · 2026-11-08
- 开源 cinecode:一句话让 Claude Code 写剧本逐帧渲染出整部影片 — solyarisoftware · 2026-11-08
- 131 个 Agent 打 23354 次模型调用，26 小时造出一支 AI MV — tetsuoai · 2026-11-08
- AI生成乡村模块合成器大片：三位东欧老奶奶田头 patch 神器 — love1008 · 2026-11-08
- AI 生成星球大战落选试镜恶搞录像，80 年代怀旧风 — TinfoilTricorn · 2026-11-08