一张图看懂 MHA/MQA/GQA/MLA:同样 8192 token,缓存差 32 倍
techNmak · x · 2026-11-17
techNmak 发布长推系统讲解现代 LLM 注意力架构如何管理 KV cache:
- MHA:每个 query 头独享 KV 头,缓存随头数、序列长度和层数线性膨胀。
- MQA:所有 query 头共享一个 KV 头,大幅压缩缓存。
- GQA:分组共享 KV 头,介于 MHA 与 MQA 之间的折中设计。
- MLA(DeepSeek 风格):把 KV 内容压缩进共享 latent 表示并缓存独立的 RoPE key;解码时可将学习到的投影吸收进 query/output 计算,无需显式重建历史逐头 KV。
在 BF16、缓存 8192 token 的示例配置下,每层缓存显存:MHA 128 MiB、MQA 4 MiB、GQA 32 MiB、MLA 9 MiB。作者强调:共享 KV 头不等于 query 头注意力分布相同,压缩缓存也不自动提升模型质量或推理速度;核心区别是 MQA/GQA 通过「共享」减少重复,MLA 通过「压缩」表示本身。这些选择直接影响显存、带宽和长上下文/并发服务能力。
「Infra」频道最新
- SemiAnalysis 晒 Trainium3 profile 精度:可生成整段视频像素画 — joey00072fp8 · 2026-11-17
- 议员质疑商务部声明:Megaspeed被列黑名单后仍持续购得英伟达芯片 — teortaxesTex · 2026-11-17
- 印度主权 AI 实验室 Sarvam 被批靠中国开源模型做托管生意 — ayushthakur0 · 2026-11-17
- Nvidia 将 Megaspeed 列入禁售名单,此前美方正调查其销售记录 — Polymarket · 2026-11-17
- NVIDIA 开源 cuPotential:分子动力学非键相互作用计算最高提速 3 倍以上 — AllThingsApx · 2026-11-17
- Syzygy 称算力短缺是软件问题:压缩可让 GPU 利用率从 6% 到 90% — teortaxesTex · 2026-11-17