新论文为 KV Cache 淘汰策略建立概率理论基础

UCLA 新论文《A Probabilistic Interpretation of KV Cache Eviction》针对 LLM 推理中广泛使用的 KV cache 淘汰策略缺乏理论支撑的问题展开研究。现有方法多采用 top-k 启发式删除条目，导致注意力扭曲却无法量化误差。论文将 top-k 启发式改写为概率采样估计，为这一常见做法建立了数学基础，并给出校正方法。

2026-09-01 ~ 2026-09-03 · 3 条相关

• 新研究提出 KV Cache 驱逐的概率解释与校正方法 — burny_tech · 2026-09-01
• UCLA 论文为 KV Cache 淘汰策略建立数学基础 — burkov · 2026-09-03

另有 1 条近重复转述:guyvdb