缓存命中价仅 2%：一文讲透 Agent 循环里的 Prefix Caching 省钱术
Arindam_1729 · x · 2026-10-28
Arindam 的长文系统讲解 LLM 前缀缓存（prefix caching）：Agent 循环每轮都重发系统提示、工具定义和全部历史，模型上一轮其实已读过；缓存命中后重复部分按极低价计费——Nebius 上 DeepSeek V4.1 Flash 1017 未缓存输入 $0.30/1M tokens，缓存命中仅 $0.006/1M，即目录价的 2%。
配图与文章要点：
- 为什么费钱：Agent 循环中每轮重发的重复前缀不断增长，新增部分很小。
- 保持前缀一致的 5 个要点：顺序（静态在前、易变在后，别把时间戳放开头）、工具（只排序一次、JSON 保持一致）、历史（只在末尾追加，不改写/裁剪旧轮次）、时机（请求时间靠近）、模型（同一会话别换模型）。
- 缓存是 best-effort：无 SLA，cachedtokens 为 0 可能是条目被逐出、换副本或模型更新；Serverless 缓存按模型共享而非组织隔离， Dedicated Endpoints 才有独立缓存。
- 预算方法：按目录价做预算，把缓存命中当额外收益。
实用价值：教你结构化 prompt 提高命中率、读缓存指标、排查自己代码里破坏缓存的写法。
「编程与Agent」频道最新
- Qwen Code 发布 v0.26.3：记忆抽取、会话工作流等十余项更新 — qwen-code-review-bot · 2026-10-28
- 网友用 Grok Bot 每天自动生成个性化 Hacker News 摘要 — seanmcdonaldxyz · 2026-10-28
- OpenBMB 开源 MiniCPM-OCR:1.3B 解析器搭配 Jev 模型给 OCR 结果打可信分 — omarsar0 · 2026-10-28
- 一人+一个 Grokbot:作者晒出公司内部媒体团队的完整搭建工作流 — VibeMarketer_ · 2026-10-28
- 作者公开 AI 游戏与视频全套提示词：7200 帧动画加 builder-critic 循环 — prasenx · 2026-10-28
- CMU×Browser Use 发布 Odysseys2:最难长程 Web Agent 基准,SOTA 仅完成 47/100 — dan_fried · 2026-10-28