研究揭示 KV 缓存打分无用：随机驱逐即可换来 32-43% 更高吞吐
burny_tech · x · 2026-09-04
UIUC 等机构的新论文《Random Attention》发现，现有 KV cache 驱逐方法的核心范式——给缓存 token 打分保留高分——几乎不带来收益。
- 方法：Random Attention 保留 prompt 部分的缓存，在每个注意力头内均匀随机驱逐推理 token，完全不做打分
- 结果：在 4 个模型、6 个推理任务上与最强驱逐器持平，vLLM 部署下吞吐高出 32-43%
- 解释：prompt 是缓存中最脆弱、最关键的部分，各打分器的差距其实只在于是否碰巧保住了 prompt；推理轨迹靠文本冗余和跨注意力头的多副本自我保护，随机保留就足够
- 论文与代码已开源
所属事件:研究称 KV Cache 驱逐打分无用 随机淘汰即可提升吞吐(2 条相关)→
「Infra」频道最新
- RunInfra 推出编程订阅计划：$10/月可用 19 个 agent 跑最快开源模型 — ycombinator · 2026-10-21
- Kimi K3 跑 vLLM + TPU v7 达每用户 391 tokens/s，megakernel 已开源 — woosuk_k · 2026-10-21
- TPN Bench 上线量化服务：上传 HF 模型即可生成 I-matrix 等量化版本 — const_reborn · 2026-10-21
- Turso 实现 MVCC,打破 SQLite 单写者瓶颈 — glcst · 2026-10-21
- Railway 全区域暂停新构建，网友质疑是否「vibe coding」惹祸 — AaronBergman18 · 2026-10-21
- a16z：超人类 AI 硬件设计不难，难的是从图纸到量产的五道坎 — a16z · 2026-10-21