文档顺序一变前缀缓存就失效，CacheBlend 仍能保留九成五缓存
blaizedsouza · x · 2026-07-21
为什么前缀缓存会失效，以及 CacheBlend 如何修补
这条帖子转述了一篇关于 KV cache / prompt caching 的长文，核心观点是：在真实 LLM 系统里，大量缓存并不会被复用，原因不是缓存没用，而是缓存策略太脆弱。
要点包括：
- 传统 prompt caching 可以把缓存输入 token 成本降到 最高 90%，现实中 60%–85% 的命中率也并不夸张。
- 但它有个硬约束：缓存内容必须是新请求的完全一致前缀，改一个字符都可能整段失效。
- 这在很多场景里都会出问题，比如：
- RAG 多文档拼接：单独缓存过的文档，组合到一起时会失去上下文关系；
- 文档顺序变化：同样的文档换个排列，缓存就全失配。
- 配图对比了 Prefix Caching 和 CacheBlend：后者只重算边界少量 token，让不同顺序下仍能复用大部分缓存。
- 帖子声称这种方法能让缓存复用率接近 95%，并带来 2–4 倍 的加速。
整体上，这是一个面向推理成本优化的实战型基础设施话题。
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27