Redis 语义缓存号称省 90% LLM 成本，四种缓存层详解
blaizedsouza · x · 2026-09-10
这篇被转发的文章系统讲解了 LLM 应用的四层缓存——KV 缓存、前缀缓存、Prompt 缓存与语义缓存——以及各自能省下哪些重复计算。
核心观点：生产环境的 LLM 应用并不会每次都收到全新问题。比如客服助手中“月度套餐能退款吗”“月订阅可退吗”“取消计划能拿回钱吗”措辞不同，但底层问题和答案相同。而现有流程仍会把每个变体当新请求处理，重新组装 prompt、调用模型、生成可能早已生成过的答案。
前缀缓存只能部分缓解：相同 system prompt/前缀可复用已计算的 KV 状态，但请求仍会打到模型，新 token 照样要处理、完整答案照样要解码。语义缓存则可在相似问题直接命中已有答案，跳过整次推理。
文末链接的是 Redis 推出的 LangCache 产品，定位为常见问题节省 token 成本，配套还有 Redis Iris(agent 实时上下文)、Agent Memory(agent 记忆)、Context Retriever 等组件。
「编程与Agent」频道最新
- Hy4 preview 实测：一条 prompt 产出可玩的 3D 生存游戏 — mhdfaran · 2026-09-10
- 网友分析 Astra xhigh 的 token 高效可能源于给子代理的指令 — Al_Grigor · 2026-09-10
- 同题对比 DeepSeek V4.1 Flash 与 GPT-6 Astra:写码风格差异一目了然 — kevinkern · 2026-09-10
- OmniParse 开源：20 种文件格式一键转为 LLM 可用数据 — tom_doerr · 2026-09-10
- 曝 Meta 为 Muse 开发共享智能体,或于 Meta Connect 发布对决 OpenAI — testingcatalog · 2026-09-10
- Meta Muse 应用暗藏共享智能体入口,可创建可配置子智能体 — testingcatalog · 2026-09-10