KV Cache 工程详解：单序列 8K 上下文即占 1 GiB，服务性能胜负手
techNmak · x · 2026-10-31
techNmak 发长文梳理 KV Cache 工程——LLM 推理服务性能的关键战场，附一张信息量很大的图解。
基本原理：自回归生成时不必每步重算历史 token 的 K/V，每层只追加新的 key/value，query 对保留的 K/V 做注意力。过去的 query 无需缓存。
内存账：全注意力下 KV 存储约为 2×层数×缓存 token 数×KV 头数×头维度×每元素字节数。以 32 层、8 KV 头、head dim 128、BF16 计，每位置约 128 KiB；8192 位置的单序列约 1 GiB，32 条不共享序列即 32 GiB——这还没算权重、激活与运行时开销。
技术手段与权衡：
- GQA/MQA 通过减少 KV 头数压缩缓存，但这是架构选择而非服务开关。
- PagedAttention 不压缩 K/V，而是分块管理，避免大块连续分配与碎片。
- Prefix caching 复用相同前缀的 KV，显著减少重复 prefill 与 TTFT，但新 token 生成仍要跑。
- KV 量化降内存，但质量与延迟取决于格式、校准、硬件和 kernel；KV offload 到 CPU 则引入传输带宽问题。
生产监控：KV 用量要与活跃序列长度、并发、空闲缓存块、前缀缓存命中率、抢占、排队时间、TTFT 和 ITL 一起看。KV 短缺可能表现为排队/抢占而非 GPU OOM。
结论：KV 优化最终同时是内存分配、带宽、调度、缓存复用问题，也是高并发下 GPU 产出的上限之一。
「Infra」频道最新
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31
- 分析师：英伟达企业与新云客户收入增速 138.5%，有望 2-6 个季度内赶超超大规模云厂 — Beth_Kindig · 2026-10-31
- 分析师：Nvidia 企业/新云业务 2-6 个季度内或超超大规模云厂 — Beth_Kindig · 2026-10-31
- 249GB 无审查 DeepSeek V4.1 Flash 跑上 Colab,速度超 118 tok/s — Healthy_Essay3388 · 2026-10-31
- 西门子 EDA 用 NVIDIA NeMo Gym 优化芯片设计 Agent,评分 55%→95% — NVIDIAAI · 2026-10-31