LightInteraction 不重训加速交互视频世界模型 2.59 倍
新智元 · wechat · 2026-07-22
LightInteraction 用“状态感知”加速交互式视频生成
浙江大学和 NVIDIA 提出 LightInteraction，目标是不改模型参数、也不重新训练，而是在推理阶段把交互状态用起来，让交互式视频世界模型更快、更稳地生成长轨迹视频。
作者指出这类系统的主要瓶颈在于：历史上下文越长，KV cache 显存越大；注意力计算越重；每个片段还要经历多步去噪，整体延迟迅速膨胀。LightInteraction 的做法是把相机轨迹变成调度信号，根据当前状态动态决定算多少：
- 上下文管理：探索新区域时减少不可靠历史，回访旧区域时保留更多空间记忆；
- 去噪缓存复用：只在回访状态下复用更稳定的去噪输出；
- 3D 稀疏注意力：只稀疏历史视觉 KV，同时保留文本条件和当前 chunk 的稠密计算，并通过 Triton 融合算子减少搬运开销。
实验在 HY-WorldPlay 和 Matrix-Game-3.0 上进行。在 HY-WorldPlay 上，约 10 秒视频的主干推理延迟从 228.60 秒降到 88.24 秒，达到 2.59 倍加速，峰值显存从 76.57GB 降至 54.66GB；在 Matrix-Game-3.0 上，约 20 秒视频的延迟从 59.70 秒降到 37.07 秒。
文章强调，这类方法的价值不只是单点提速，而是把交互轨迹、历史可靠性和去噪稳定性变成推理调度信号，为游戏模拟、虚拟场景探索、机器人训练等场景提供更现实的加速路径。
「多模态」频道最新
- ComfyUI Krea2 风格提示词节点复活：新分支更新大规模风格库 — Winter_unmuted · 2026-10-27
- 无 LLM 调用的「创意生成器」：单个 HTML 文件在浏览器内产出复古海报 — Afinetheorem · 2026-10-27
- 网友用 Copilot 想象并归档自己的 80/90 年代冬季穿搭概念 — Valuable-Sky2134 · 2026-10-27
- 开源钢琴转写模型 Transkun 实测:连延音踏板事件都能准确识别 — alexanderchen · 2026-10-27
- fal 上线 FLUX 3 Image Klein LoRA 训练:支持 10 张参考图、单请求叠加 3 个 LoRA — OdinLovis · 2026-10-27
- 女朋友总想挤痘？网友用 AI 把她自拍做成可玩广告游戏 — CurieuxExplorer · 2026-10-27