VFold 论文：跨层对称性压缩 value cache,省一半内存保 98% 性能

StellaLisy · x · 2026-11-05

Johns Hopkins 与 George Mason 团队发布论文 VFold: Symmetry-Aware Cross-Layer Value Cache Compression(arXiv:2610.12338)。核心内容：- 利用跨层 value cache 的相似性，提出对称感知的合并策略，将 value cache 压缩一半，仍保持超过 98% 的全缓存性能；- 与现有 KV 压缩方法可叠加使用，结合高比率量化或 key cache 剪枝，达到单一方法无法实现的压缩比，且额外开销极小；- 无需修改 LLM 架构，避免了解码时的性能损失与架构开销。作者指出 value cache 中存在大量未被利用的冗余容量，为内存受限下扩展上下文窗口提供了简单有效的方向。