为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透注意力机制

AccBalanced · x · 2026-11-18

akshaypachaar 的技术长文与配图,解答一个常见的 LLM 面试题:KV Cache 为什么只缓存 K、V 而不缓存 Q。

核心逻辑:

配图以「The cat sat on → mat」为例分三步演示 prefill、score+mix 和缓存增长过程,附完整文章链接。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →