一张图看懂 MHA/MQA/GQA/MLA:同样 8192 token,缓存差 32 倍

techNmak · x · 2026-11-17

techNmak 发布长推系统讲解现代 LLM 注意力架构如何管理 KV cache:

在 BF16、缓存 8192 token 的示例配置下,每层缓存显存:MHA 128 MiB、MQA 4 MiB、GQA 32 MiB、MLA 9 MiB。作者强调:共享 KV 头不等于 query 头注意力分布相同,压缩缓存也不自动提升模型质量或推理速度;核心区别是 MQA/GQA 通过「共享」减少重复,MLA 通过「压缩」表示本身。这些选择直接影响显存、带宽和长上下文/并发服务能力。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →