DeCoPrune 免训练剪枝 85% 视频 KV 缓存，续写生成提速 4 倍

mmlab-ntu · hf · 2026-10-08

NTU MMLab 提出 DeCoPrune，一个面向自回归视频扩散模型的免训练 KV 缓存剪枝方法。

问题：自回归视频扩散支持流式生成与交互控制，但 KV 缓存随生成历史持续增长；现有方法用固定窗口丢弃历史或基于局部注意力/相似度选 token，无法直接衡量当前块是否带来新信息。
方法：将缓存压缩建模为去噪一致性问题——经验发现去噪难度可作 token 长期保留价值的代理：中间干净预测与最终去噪值差异大的 token，携带保留上下文难以推断的视觉证据，应长期保留。
评测：发布 CMBench 基准，含 58 个约一分钟的上下文片段和 116 个 Reappear/Revisit 续写任务，测试模型对先前出现对象/场景的回忆能力。
结果：在 LingBot World v2 上剪枝超 85% 历史 KV token 的同时保持接近 FullKV 的长期召回，续写生成提速 4 倍以上，显著优于同类压缩基线。

「研究」频道最新