视频 LLM 上下文编辑新方案:KV 缓存复用大幅降延迟

arXiv 新论文《Editable Video Context: Mid-Context KV-Cache Reuse for Context-Managing Video LMs》将 CLM(Context Language Models)与 Suffix Cache Reuse 思路扩展到视频上下文管理,通过 M-RoPE 偏移实现 KV 缓存复用,使视频 LLM 在上下文中部插入编辑成为可能,并显著降低延迟、节省约 30% 的预填 token。CLM 作者 Rulin Shao 转评了这项工作。

2026-11-23 ~ 2026-11-23 · 2 条相关