CLM 作者点评:KV 缓存复用扩展到视频上下文管理,预填 token 省 30%
RulinShao · x · 2026-11-23
CLM(Context Language Models)作者 Rulin Shao 转评一篇将 CLM 与 Suffix Cache Reuse 思路扩展到视频上下文管理的新论文,点出两个关注点:
- 准确性:从正确片段采样更多帧有帮助,但 Qwen2.5-VL-7B 难以自主决定「看哪里」;她在 CLM 工作中也发现 Qwen3.5-9B 处理文本上下文管理同样吃力,而 RL 同时提升了准确率与效率。她好奇 RL 能否教会视频模型「该回看什么、该保留什么」。
- 效率:论文的 Transformers 原型已把 LM 预填 token 减少 30%,若 vLLM、SGLang 或 Evolving Infra 原生支持视频缓存复用,这部分节省有望转化为 LM 侧的真实加速。
所属事件:视频 LLM 上下文编辑新方案:KV 缓存复用大幅降延迟(2 条相关)→
「研究」频道最新
- 用填空式蒸馏套取前沿模型隐藏推理链的构想 — OwariDa · 2026-11-23
- 剪枝再升杯:单一模型按内存动态伸缩的构想 — minhnguyen · 2026-11-23
- Claude 驱动 GRH 证明形式化:生成 1700 万行 Lean 代码并通过认证 — elonmusk · 2026-11-23
- 训练模型补全闭源模型缺失的推理链:一个 FIM 式蒸馏新思路 — OwariDa · 2026-11-23
- 用 Claude 构建的黎曼猜想证明问世:1700 万行 Lean,无人能通读 — r0ck3t23 · 2026-11-23
- 传 Anthropic 研究员 alpoge 攻克全球最大数学 открыт问题之一,本人至今保持沉默 — kimmonismus · 2026-11-23