VaSE:免训练随机 KV 缓存驱逐法,缓解推理模型内存膨胀

robinomial · x · 2026-10-05

作者 harveyiyun 将在 COLM 2026 高效推理工作坊（10 月 9 日 12:30–13:30）展示 VaSE（Value-Aware Stochastic KV Cache Eviction），同时寻找 2027 春夏季实习机会。

核心内容：推理模型依赖长 CoT，导致 KV 缓存急剧膨胀；现有驱逐方法虽能省内存但常造成能力下降。VaSE 是一种免训练方案——保留大幅值（large-magnitude）的 value 状态，对其余状态做随机驱逐，从而在压缩缓存的同时降低能力损失。代码已开源。