KV 缓存淘汰新解法:把 top-k 启发式改写成概率采样估计
guyvdb · x · 2026-09-03
alphaxiv 推介论文《A Probabilistic Interpretation of KV Cache Eviction》。
- 现有 KV 缓存淘汰方法多依赖 top-k 启发式决定保留哪些 token,但删除 token 会严重扭曲后续注意力分布。
- 该论文将 KV 淘汰重新表述为期望估计问题,用概率采样和重要性加权在解码时校正缺失的 KV 条目。
- 由此获得一个有原则的偏差-方差权衡框架,在保持与现有方法竞争力之余,鲁棒性更强。
所属事件:新论文为 KV Cache 淘汰策略建立概率理论基础(3 条相关)→
「Infra」频道最新
- RTX 4090 跑 H3 生成时实测:核心最高 72°C、热点 83°C、显存 78°C — taurine_bitch · 2026-09-22
- 用大鼠脑细胞造 AI,TBC 模型上线 AWS 有限预览 — nordicinst · 2026-09-22
- TechCrunch 纪实:宾州两年 AI 数据中心之争为何人人不满 — TechCrunch AI · 2026-09-22
- Cerebras 战略官：安全测试正成为算力厂商的新增长点 — RihardJarc · 2026-09-22
- 拆散实时语音栈成本降 14 倍,意外收获是文本层护栏 — Cloudsurfer_90 · 2026-09-22
- 黄仁勋：吉瓦级 AI 工厂投资高达 50-60 亿美元架构必须可通用 — nvidia · 2026-09-22