KVpop：利用预测性在线剪枝实现KV缓存压缩
NX-AI · hf · 2026-07-07
KVpop提出了一种新型KV缓存压缩方法，通过直接用未来注意力目标来监督"保留或丢弃"决策，学习最优的KV缓存淘汰策略。该方法在降低内存占用的同时保持了高性能表现，为大模型推理的高效部署提供了新思路。
NX-AI · hf · 2026-07-07
KVpop提出了一种新型KV缓存压缩方法，通过直接用未来注意力目标来监督"保留或丢弃"决策，学习最优的KV缓存淘汰策略。该方法在降低内存占用的同时保持了高性能表现，为大模型推理的高效部署提供了新思路。