文档顺序一变前缀缓存就失效，CacheBlend 仍能保留九成五缓存
blaizedsouza · x · 2026-07-21
为什么前缀缓存会失效，以及 CacheBlend 如何修补
这条帖子转述了一篇关于 KV cache / prompt caching 的长文，核心观点是：在真实 LLM 系统里，大量缓存并不会被复用，原因不是缓存没用，而是缓存策略太脆弱。
要点包括：
- 传统 prompt caching 可以把缓存输入 token 成本降到 最高 90%，现实中 60%–85% 的命中率也并不夸张。
- 但它有个硬约束：缓存内容必须是新请求的完全一致前缀，改一个字符都可能整段失效。
- 这在很多场景里都会出问题，比如：
- RAG 多文档拼接：单独缓存过的文档，组合到一起时会失去上下文关系；
- 文档顺序变化：同样的文档换个排列，缓存就全失配。
- 配图对比了 Prefix Caching 和 CacheBlend：后者只重算边界少量 token，让不同顺序下仍能复用大部分缓存。
- 帖子声称这种方法能让缓存复用率接近 95%，并带来 2–4 倍 的加速。
整体上，这是一个面向推理成本优化的实战型基础设施话题。
「Infra」频道最新
- 不同推理厂商各有 SLA 侧重,Together/Modal/Fireworks/Cerebras 值得关注 — abhijithneil · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11