文档顺序一变前缀缓存就失效，CacheBlend 仍能保留九成五缓存
blaizedsouza · x · 2026-07-21
为什么前缀缓存会失效，以及 CacheBlend 如何修补
这条帖子转述了一篇关于 KV cache / prompt caching 的长文，核心观点是：在真实 LLM 系统里，大量缓存并不会被复用，原因不是缓存没用，而是缓存策略太脆弱。
要点包括：
- 传统 prompt caching 可以把缓存输入 token 成本降到 最高 90%，现实中 60%–85% 的命中率也并不夸张。
- 但它有个硬约束：缓存内容必须是新请求的完全一致前缀，改一个字符都可能整段失效。
- 这在很多场景里都会出问题，比如：
- RAG 多文档拼接：单独缓存过的文档，组合到一起时会失去上下文关系；
- 文档顺序变化：同样的文档换个排列，缓存就全失配。
- 配图对比了 Prefix Caching 和 CacheBlend：后者只重算边界少量 token，让不同顺序下仍能复用大部分缓存。
- 帖子声称这种方法能让缓存复用率接近 95%，并带来 2–4 倍 的加速。
整体上，这是一个面向推理成本优化的实战型基础设施话题。
「Infra」频道最新
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22
- Apple 公布 Private Cloud Compute 的 SOC 3 审计报告 — throwfaraway4 · 2026-07-22
- Reddit：GPU 平台总让你在代码、恢复、计费里选两项 — legendpizzasenpai · 2026-07-22
- 智能体执行环境的安全基石：沙盒化宣言 — spirosoik · 2026-07-22