文档顺序一变前缀缓存就失效，CacheBlend 仍能保留九成五缓存
blaizedsouza · x · 2026-07-21
为什么前缀缓存会失效，以及 CacheBlend 如何修补
这条帖子转述了一篇关于 KV cache / prompt caching 的长文，核心观点是：在真实 LLM 系统里，大量缓存并不会被复用，原因不是缓存没用，而是缓存策略太脆弱。
要点包括：
- 传统 prompt caching 可以把缓存输入 token 成本降到 最高 90%，现实中 60%–85% 的命中率也并不夸张。
- 但它有个硬约束：缓存内容必须是新请求的完全一致前缀，改一个字符都可能整段失效。
- 这在很多场景里都会出问题，比如：
- RAG 多文档拼接：单独缓存过的文档，组合到一起时会失去上下文关系；
- 文档顺序变化：同样的文档换个排列，缓存就全失配。
- 配图对比了 Prefix Caching 和 CacheBlend：后者只重算边界少量 token，让不同顺序下仍能复用大部分缓存。
- 帖子声称这种方法能让缓存复用率接近 95%，并带来 2–4 倍 的加速。
整体上，这是一个面向推理成本优化的实战型基础设施话题。
「Infra」频道最新
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11