LiveFoley 论文:实时视频转音频生成,延迟低至用户无感知阈值内
Yusheng Dai · hf · 2026-11-05
- Monash、南京大学、清华、Alibaba Token Hub 等机构论文 LiveFoley,面向沉浸式交互世界的流式视频转音频(V2A)实时生成(arXiv 2025-11-04)。
- 问题:现有流式 V2A 为压低 look-ahead 延迟缩小视觉前端感受野、且因果扩散后端逐 patch 独立去噪,音画质量双双受损;用户研究给出可感知延迟阈值:动作 0.34s、语音 0.49s、环境音 0.85s。
- 方法:流式因果自回归扩散架构;视觉端用 Trailing Sliding Window 对齐,音频端扩大时间去噪窗口提升质量,延迟极低。
- 消融显示 trailing 方案在 0.08s look-ahead 延迟下 DeSync 得分 0.61,优于 chunked 的 0.88(更低更好)。
「多模态」频道最新
- 生成式世界 demo 展示雨后河畔：背包里有弓箭鱼竿还能骑摩托 — wavefnx · 2026-11-05
- Blender 5.3 将原生支持 Gaussian Splatting,SuperSplat 扩展简化导入 — willeastcott · 2026-11-05
- 商汤开源 SenseNova 6.8 Code2Video:代码优先的可控视频生成 — s_mohinii · 2026-11-05
- 用 Gemini 3.8 Flash 做动效:20 skills+静态检查撑起开源 Motion Lab — Bitter-Theme4433 · 2026-11-05
- azed_ai 展示 AI 生成人像:动感模糊营造胶片摄影质感 — azed_ai · 2026-11-05
- 开源 Kokon 0.12:点击抠图分层+背景重绘,可导出 PSD — Ok-Director4174 · 2026-11-05