KV Cache 深度图解：从省算力到 GQA/MLA 架构演进全解释
blaizedsouza · x · 2026-10-12
techNmak 发布 KV Caching 科普长帖：自回归生成时若不缓存，每步解码都要重算已处理 token 的 key/value 状态；KV cache 通过存储并复用历史 K/V 张量避免冗余计算。但缓存随序列长度增长，占用大量显存并带来解码期内存带宽压力——这解释了架构为何从 MHA 演进到 MQA、GQA 以及 MLA 等方案。对理解 LLM 推理服务栈很有价值。
「Infra」频道最新
- NVIDIA 提出 ELR:单 checkpoint 循环推理,4 圈提升 7.25 分无单圈税 — nvidia · 2026-10-12
- 吃灰旧笔记本变身家庭服务器:Proxmox+NetBird 入门指南 — aestheticedwar1 · 2026-10-12
- Mac Studio M5 Ultra 512GB 对决同价位 RTX 5090：本地 AI 视频生成选谁 — This-Gene1631 · 2026-10-12
- NVIDIA 开放 Vera Rubin 机架设计,思科谷歌 Meta 等跟进采用 — nordicinst · 2026-10-12
- 台积电与 ASML 转向 12 英寸光罩,以释放 High-NA EUV 全视场潜力 — pstAsiatech · 2026-10-12
- 美国数据中心最集中两县恰是全美最富两县，算力循环论引发争论 — gregmushen · 2026-10-12