arXiv 论文:用 M-RoPE 偏移复用 KV 缓存,视频 LLM 编辑上下文延迟大降
RulinShao · x · 2026-11-23
论文《Editable Video Context: Mid-Context KV-Cache Reuse for Context-Managing Video LMs》将 CLM(模型可编辑自身上下文)与 Suffix Cache Reuse 扩展到视频语言模型:
- 方法:把长视频表示为带时间戳的片段;模型先看稀疏采样版本,选中片段以 4 倍帧率解码,其余片段从上下文中移除。重建时通过给 Qwen2.5-VL 的 M-RoPE 的时间/高/宽分量共享一个偏移来旋转 key,从而复用幸存片段的 KV 缓存;内容哈希缓存还避免重复视觉编码器计算。
- 结果:在 Qwen2.5-VL-7B、公开电影上的合成「视频大海捞针」实验中,预填 token 与端到端重建延迟均低于全量重算,答案通常不变;预填 token 减少 30%。
- 局限:已知答案所在片段时加密采样可提升准确率;但模型自主选段时准确率不升——它很难发现稀疏采样中缺失的「针」。
代码、原始日志与复现脚本已开源。CLM 原作者 Rulin Shao 转发点评,认为 RL 或可教视频模型学会「看哪里」,并期待 vLLM/SGLang 原生支持视频缓存复用。
所属事件:视频 LLM 上下文编辑新方案:KV 缓存复用大幅降延迟(2 条相关)→
「Infra」频道最新
- 剪枝再升杯:单一模型按内存动态伸缩的构想 — minhnguyen · 2026-11-23
- Koboldcpp 发布 v1.125.1 版本 — Fcking_Chuck · 2026-11-23
- Fireworks AI 数据泄露波及 Uber 15 万司机,美新规限制对华算力访问 — DavidLinthicum · 2026-11-23
- 为什么黑客组织不爱用 AI 攻击:噪音大、token 太贵、老方法仍有效 — jcran · 2026-11-23
- HiSA 注意力方法砍掉 65-71% Q·K 计算,解码吞吐提升 41% — Promptmethus · 2026-11-23
- 业内争论:token 消费正从独占 GPU 转向按用量计费 — AccBalanced · 2026-11-23