一张图讲透 12 种 KV cache 优化技术,从滑窗到 MLA 降推理内存
blaizedsouza · x · 2026-10-14
akshaypachaar 整理了 12 种优化 LLM 推理的 KV cache 技术。KV cache 存储已生成 token 的 key/value 避免重复计算,但长对话和并发请求会让显存需求暴涨。图中技术按改变信息的存储、共享、读取或移动方式分类,包括:
- Sliding window:在局部注意力层只保留最近 token,缓存不再增长
- Cross-layer sharing:多层复用共享 KV,需架构层面支持
- MLA(Multi-head latent attention):缓存紧凑表示而非每头完整 KV
作者同时附了一篇系统讲解 KV caching 原理的文章,解释为何首 token 延迟高、后续 token 秒出是刻意的工程设计。
「Infra」频道最新
- 百个工程师配 AI 即达万人协作:monorepo 需要新 Git 原语 — rickasaurus · 2026-10-14
- Modal 证明 RL 训练可用混合加速器集群，成本更低且收敛不输同构 — charles_irl · 2026-10-14
- 后院「分布式数据中心」小屋：为本地 LLM 打造的 ADU 创业 — dee_hw · 2026-10-14
- 小红书 Dots 团队开源 DoSA:稀疏注意力 Indexer 提速至 2.74 倍 — dots-studio · 2026-10-14
- ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移 — Can Jin · 2026-10-14
- 曝微软因数据中心支出与AI人才竞赛承压，内部讨论削减成本 — SumitGup · 2026-10-14