Agent 循环 89% token 是重复内容:前缀缓存省 10 倍输入费用
Arindam_1729 · x · 2026-10-31
Arindam1729 发文讲解 LLM 前缀缓存(prefix caching)为何对 agent 至关重要:LLM API 无状态,agent 每轮都重发全部上下文——到一个简单循环的第 4 轮,89% 的 prompt 是模型已经读过的内容。
增长路径:第 1 轮约 6,000 token(系统提示+工具定义),每轮新增约 1,000 token 历史,第 4 轮发出 9,000 token 中 8,000 是重复的。
他用 DeepSeek V4.1 Flash 1017(Nebius Token Factory)算了 20 轮会话的账:约 31 万 prompt token,无缓存输入费用 $0.093,全前缀命中缓存约 $0.009,输入成本省约 10 倍。注意这是最优情况:缓存是尽力而为,未使用的前缀几分钟后过期,且只有 prompt 开头稳定不变才有效。
「编程与Agent」频道最新
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 开源框架 Cross Agent Validation：用第二个 Agent 拦截 AI slop 进仓库 — kwerkee · 2026-10-31
- 用 MCP 驱动 Blender 做出金属反光 3D 场景引热议 — sidahuj · 2026-10-31
- Matt Pocock 吐槽 Claude skills 规范:子技能无法自动串联只能手动输入 — mattpocockuk · 2026-10-31
- 开发者用 Claude 造出幼儿专用 Linux 系统 Greia,内置 45 个学习活动 — orblabs · 2026-10-31
- 六款新模型同题实测:DeepSeek V4.1 Flash 两美分全过,最热 Flint 仅 1/5 — latent_lurker8587 · 2026-10-31