NVIDIA 博客拆解 KV cache 压缩为何在 vLLM 生产环境失灵
blaizedsouza · x · 2026-11-03
一篇来自 NVIDIA 研究团队（含 Song Han）的长文，从基础设施视角审视 KV cache 压缩这一研究领域：大部分算法在实验室有效，落到生产部署却常常失效。
核心是一个反直觉的面试题式案例：推理模型在 vLLM 上服务，长思维链不断吃满显存，即使做 KV cache 压缩、驱逐 90% 的缓存 token，VRAM 占用也几乎不降。原因是 paged attention 只在整个 block 完全空闲时才回收内存——驱逐幸存 token 后几乎每个 block 都只部分占用，“释放”的内存实际上拿不回来。
文章指出该领域撞上的两个基础设施难题：
- 现有压缩方法需要历史 attention score，但 FlashAttention 内核从不把这些 score 写进显存；
- paged attention 的内存回收粒度问题，使 token 级驱逐几乎无法真正释放字节。
文中还给出量化例子：24GB GPU 上跑 4-bit 量化的 Qwen3-32B，一条 32K token 的推理轨迹约在 24K token 时 OOM，因为长思维链下 KV cache 是主要内存开销。文章随后综述了该领域的主要思路，并介绍近期如何利用 RoPE 下隐藏的几何性质同时化解这两个问题。
「Infra」频道最新
- AI agent 自创「套娃 k8s」架构：kcp 分区叠 bare metal 叠 KubeVirt 叠 guest 集群 — sloppenheimer · 2026-11-03
- OpenAI 自研 Git 后端 Pando:推送延迟降 80%,日服务近 1PB 数据 — gdb · 2026-11-03
- NVIDIA 发布 AI Cluster Runtime:为 Dynamo 推理栈提供经验证的 K8s 配方 — nvidia · 2026-11-03
- Periodic Labs 将在 SGLang Summit 分享物理实验 RL 基础设施实践 — hsu_byron · 2026-11-03
- lauriewired:SQLite 比多数传统文件系统还快,值得更多实验性 OS — lauriewired · 2026-11-03
- mlx-learn 发布：Apple 芯片跑经典 ML,推理提速 300 倍 — HankYeomans · 2026-11-03