为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透注意力机制
AccBalanced · x · 2026-11-18
akshaypachaar 的技术长文与配图,解答一个常见的 LLM 面试题:KV Cache 为什么只缓存 K、V 而不缓存 Q。
核心逻辑:
- Prefill 阶段一次前向传播后,只有最后一个位置的 hidden state 用于预测下一个 token,即 logits 只取决于最后那个 hidden state
- 计算该 hidden state 需要最新的 Q 加上之前所有 token 的 K 和 V
- 旧的 K、V 在生成过程中永不改变,可缓存复用;而每个 Q 只用一次就会被丢弃
- 所以每个新 token 只需计算新的 Q、K、V 一行,K/V 追加进缓存,Q 不缓存
配图以「The cat sat on → mat」为例分三步演示 prefill、score+mix 和缓存增长过程,附完整文章链接。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18