4 万次 Agent 调用实测：83% token 走缓存价，前缀稳定性决定账单
MichelleZhao91 · reddit · 2026-11-11
一位小型 API 网关的模型接入工程师分享了自家平台约 40,600 次 agent 调用的账单数据（非调研，自述利益相关）。
关键数据
- 总计计费 40.4 亿 token，其中 33.5 亿是缓存读取——83% 的输入按缓存价而非全价计费。
- 极端案例：某内部 agent 单次调用 39.7 万输入 token，其中 39.5 万命中缓存（99.5%）——每轮重读的其实是同一段 system prompt 和工具 schema，而非真实对话。
为什么比选模型更重要
前缀稳定时大部分输入按缓存价计费：以 DeepSeek V4.1 Flash 为例，缓存价 $0.0059/百万 token 对全价新输入 $0.2046/百万，约 35 倍差距。同模型同负载的两个团队，成本可差 4-5 倍，且双方都没做错什么。
破坏缓存命中的常见因素
- prompt 顶部有易变内容（时间戳、session id、排在稳定块之前的工具结果）
- 每轮变更挂载的工具列表
- 循环中途切换模型——缓存按模型隔离，升级路径会全量重读
- 空闲间隙导致前缀过期
「编程与Agent」频道最新
- Rork 内置 Mobbin 设计参考搜索:免费计划可用,600K+ 真实 App 界面直接引用 — rudrank · 2026-11-11
- swyx 直问 AEO 公司 CEO：为何我的 agent 总自作主张选 Resend — AccBalanced · 2026-11-11
- Matt Shumer 发视频详解 Fable 5.2 与 Opus 5.5 该怎么选 — prasenx · 2026-11-11
- Rabbit 内部实测:OS3 自动在仓库秒级响应 bug 并起草修复 — jesselyu · 2026-11-11
- Anthropic 推出 Claude Meetings:可加入 Google Meet 实时干活 — No-Gazelle1365 · 2026-11-11
- 用 Claude 一次性 vibe coding 出魂斗罗风格游戏，单文件零素材 — prasadpilla · 2026-11-11