缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍
Arindam_1729 · x · 2026-10-30
一篇讲解 prompt caching 的文章：agent 循环每一轮都会重发 system prompt、工具定义和完整历史——模型其实上一轮就全读过一遍，等于反复为同样的前缀付全价。
缓存的工作方式：首轮处理后结果存入 KV cache；下一轮开头部分与前缀匹配的 token 直接复用而非重算，只有新消息按全价计费。以 Nebius Token Factory 上的 DeepSeek V4.1 Flash 1017 为例，缓存命中输入为 $0.006/百万 token，未命中 $0.30，相差 50 倍。
注意点：缓存是 best-effort 的，重复请求也可能返回 cachedtokens: 0，所以每轮都要记录缓存命中数并按标价做预算。无需缓存 key、无需手动开启。
所属事件:前缀缓存成 Agent 省钱关键，命中价仅 2%(2 条相关)→
「编程与Agent」频道最新
- 开源工具 llmman 一条命令让 Claude Code 等agent跑任意本地模型 — weskambale · 2026-10-30
- DSPy 上下文工程指南:把 Context Engineering 变成可编程流程 — kieranklaassen · 2026-10-30
- 前游戏创业者用 Claude+GPT 探索「Vibe UI」,做元素格斗游戏原型 — trq212 · 2026-10-30
- Proof of Agent 架构升级:每 15 分钟锚定 Solana 与 Base,验证成本不再随历史增长 — adamamcbride · 2026-10-30
- Supastarter 作者 @bot 一句话自动更新 Postel 展示页，「build in public」新玩法 — jonathan_wilke · 2026-10-30
- 面对人工无法审完的超大 PR，社区尝试 AI 验证，leafcutter 提速约 10 倍 — jmschreiber91 · 2026-10-30