文档顺序一变前缀缓存就失效，CacheBlend 仍能保留九成五缓存
blaizedsouza · x · 2026-07-21
为什么前缀缓存会失效，以及 CacheBlend 如何修补
这条帖子转述了一篇关于 KV cache / prompt caching 的长文，核心观点是：在真实 LLM 系统里，大量缓存并不会被复用，原因不是缓存没用，而是缓存策略太脆弱。
要点包括：
- 传统 prompt caching 可以把缓存输入 token 成本降到 最高 90%，现实中 60%–85% 的命中率也并不夸张。
- 但它有个硬约束：缓存内容必须是新请求的完全一致前缀，改一个字符都可能整段失效。
- 这在很多场景里都会出问题，比如：
- RAG 多文档拼接：单独缓存过的文档，组合到一起时会失去上下文关系；
- 文档顺序变化：同样的文档换个排列，缓存就全失配。
- 配图对比了 Prefix Caching 和 CacheBlend：后者只重算边界少量 token，让不同顺序下仍能复用大部分缓存。
- 帖子声称这种方法能让缓存复用率接近 95%，并带来 2–4 倍 的加速。
整体上，这是一个面向推理成本优化的实战型基础设施话题。
「Infra」频道最新
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27
- MiniBot 2.40 新增 xAI、HF Studio 和 vLLM 支持 — Creative-Type9411 · 2026-07-27
- 苹果智能眼镜、英伟达SK合作与携程51.79亿罚单汇总 — APPSO · 2026-07-27
- DeepSeek 融资传闻、欧盟 AI 透明度规则与 OpenAI 安全事故 — 创业邦 · 2026-07-27
- QuixiCore 主张原生量化内核取代先反量化再执行 — QuixiAI · 2026-07-27