BellowsKV：相邻层共享 KV 缓存，13-14 倍压缩仍保 97-98% 精度
burkov · x · 2026-10-30
Burkov 撰文解读 Rice University 论文 BellowsKV(One Latent for Many Layers, Expanded on Demand)：
- 问题：长上下文/多步 agent 任务中，每层都要为所有 token 保留注意力 KV 缓存，其内存占用可超过模型权重本身，限制服务并发。现有压缩手段(量化、丢 token、降维)在高压缩率下精度骤降。
- 关键发现：相邻层的 KV 缓存表示差异很大，但它们的输入 hidden states 高度相似；且同等内存预算下压缩共享隐表示的维度比量化它损失大得多。
- 方法：免训练，把 n 个相邻层的 hidden states 映射为每 token 一个共享隐表示，各层通过层特定投影从中读取自己的 K/V；隐表示保持全维度，改用量化或整块统一驱逐来压缩。
- 效果：在 Llama-3.1-8B、Mistral-7B、Qwen2.5-7B 上，BellowsKV-Quant 在 3.6× 压缩下保留约 99% 全缓存精度，13-14× 下保留 97-98%；而最强现有跨层方法在 16× 时最多只剩 84%。
- 代码已开源：github.com/MorrisZJ/BellowsKV
「Infra」频道最新
- 4090 24GB 跑原生 3K MiniMax 视频:一个 ComfyUI 节点解决显存崩溃 — friedlc · 2026-10-30
- Baseten 携手 Postman：4000 万开发者的企业 Agent 基建组合 — baseten · 2026-10-30
- AI 泡沫信号:数据中心 AI 债务融资开始变难 — Terminator857 · 2026-10-30
- Ollama:全球企业团队正用其将工作流迁移至开源模型 — ollama · 2026-10-30
- Rogers 卫星漫游扩至日澳新，加拿大手机借 Starlink 通全球 — XFreeze · 2026-10-30
- AWS 布道师发现 macOS 更新回滚:已移除的 eMudhra 证书又回到系统信任库 — kingslyj · 2026-10-30