记忆层每轮改写前缀悄悄击穿 prompt 缓存，成本最高多付 12.5 倍
inbask · reddit · 2026-09-07
作者指出一个隐蔽且严重的工程问题：LLM 提供商的 prompt cache 依赖精确前缀匹配，前缀中改动任意一个字节都会使其后全部失效。而记忆层按定义注入的内容是会变化的，一旦把 recalled memory 放进 system prompt 或消息前部，就会每轮请求都击穿缓存。
代价有多大
- Anthropic：缓存读取 0.1x 输入价、写入 1.25x，每轮失效的前缀部分要付约 12.5 倍于缓存命中的价格。
- OpenAI GPT-5.x：缓存读取 9 折减免 90% 且自动启用、无开关，你可能在从未主动开启的情况下丢失缓存收益。
- 命中缓存还能降低 30-80% 延迟，等于钱和速度双输。
为何难以察觉：没有任何报错，每次请求都成功返回，你也看不到缓存正常工作的对照版本。
诊断方法：观察 usage.cachereadinputtokens，多次重复请求后若接近零、而 cachecreationinputtokens 每次接近完整 prompt 大小，说明上游在改写你的前缀。
修复方案：按变更频率切分注入的记忆——稳定内容（技能、长期指令、定义）放最前，设置断点，易变的 recall 放后面。
作者自己的架构因 prompt-injection 防御（固定指令与攻击者可控内容隔离）恰好形成了正确的缓存布局，但他们的上下文组装器把 block 交给宿主应用时不声明放置位置，宿主可能把好 block 塞进缓存前缀中间而永久多付钱。作者向社区提问：记忆库该只写文档，还是直接返回稳定/易变两个分区让调用方无法用错。
「编程与Agent」频道最新
- 安全专家：让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流：设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search：让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26