一篇长推讲透 KV Cache 优化的五种关键技法
goyalshaliniuk · x · 2026-11-20
Shalini Goyal 系统梳理了 LLM 推理中 KV Cache 的五大优化技术,解释为什么长回复不必每生成一个 token 就重算整段对话:
- PagedAttention:像虚拟内存一样把 KV Cache 切成固定小块、按需分配,减少碎片,让多请求共享显存(参考 vLLM)
- KV Cache 量化:把缓存张量转成低位格式,省显存、提高并发,需权衡精度与延迟(参考 AWQ)
- 前缀缓存(Prefix Caching):多个请求共享相同系统指令/文档前缀时复用已算好的 KV 块,省去重复 prefill
- KV Cache Offloading:把不常用的缓存块从 GPU 挪到 CPU 内存,支持超出显存的长上下文,代价是传输延迟(参考 LMCache,GitHub 12.4k star)
- 智能缓存淘汰:按注意力重要性保留关键 token、配合滑动窗口注意力,在有限显存下撑更长序列
所属事件:长推梳理 KV Cache 五大优化技法(3 条相关)→
「Infra」频道最新
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20
- DeepSeek 招聘 JD 直言 10 万卡集群运维难题,传 V5 将用昇腾 950 训练 — teortaxesTex · 2026-11-20