一文讲透 LLM 四种缓存：KV、Prefix、Prompt、Semantic 各省在哪一步

blaizedsouza · x · 2026-10-25

akshaypachaar 的图解长推系统解释了 LLM 推理中的四种缓存机制，以及它们分别在推理流程的哪个环节省掉重复计算：

背景：Agent 每轮都会重复发送相同的 system 指令、工具定义和会话历史；首次处理这些上下文叫 prefill，是首 token 延迟的主要来源。四种缓存都在这一流程的不同节点减少重复工作。
KV Caching：生成阶段，模型存储 attention 用来检索历史的 key/value 向量，每个新 token 复用这些向量再追加自己的，避免重复计算，代价是内存。
Prefix Caching：跨请求复用，当请求以已处理过的前缀开头时，服务端可复用保存的 attention 状态，跳过 prefill。
Prompt Caching：厂商提供的显式缓存接口（如 Anthropic/OpenAI 的 prompt cache），对固定前段上下文计费打折并加速。
Semantic Caching：按语义相似度命中历史问答结果，直接返回缓存答案，绕过模型。

作者同时发布了一篇专门讲 KV Caching 的长文，解释为什么 ChatGPT/Claude 的首 token 明显更慢、后续 token 几乎瞬时——这是刻意的工程设计而非 UI 问题。

「Infra」频道最新