研究称 KV Cache 驱逐打分无用 随机淘汰即可提升吞吐

Salesforce 与 UIUC 等机构发布「Random Attention」研究，挑战传统 KV Cache 压缩思路。研究发现，现有驱逐方法的核心范式——给缓存 token 打分并保留高分——几乎不带来收益；在保留 prompt 的前提下，直接随机淘汰推理 token 反而可获得 32-43% 的更高吞吐，大幅简化缓存压缩流程。

2026-09-04 ~ 2026-09-04 · 2 条相关

• 研究揭示 KV 缓存打分无用：随机驱逐即可换来 32-43% 更高吞吐 — burny_tech · 2026-09-04
• Salesforce 研究：随机淘汰推理 token 即可高效压缩 KV Cache — Salesforce · 2026-09-04