Agent 缓存可大幅省 token
Roger_M_Taylor · x · 2026-07-14
转发内容讲的是一种把 token 成本压下来的 agent 构建方式。核心观点是：将“不会变化的内容”放在 prompt 顶部——例如工具、system、文档——并在静态部分结束处明确切分，便于缓存。
文中给出的要点包括：
- 把静态内容放在前面，缓存后可把 108,000 tokens 的输入压到 11 tokens 级别。
- 只要有一个多余空格，缓存就会失效，仍按全价计费。
- 缓存有效期约 5 分钟，每次读取会重置时钟。
- 缓存 tokens 不计入速率限制，相当于额外的免费吞吐。
整体是在强调：很多人还没利用好缓存机制，而这类 prompt/上下文组织方式一上来就可能回本。
「编程与Agent」频道最新
- 拆解两款真实「公司大脑」：Slite 与 Gorgias 同台对比构建之道 — femke_plantinga · 2026-09-11
- 浏览器主线程很贵:动画卡顿的真正成本与前端优化实践 — jh3yy · 2026-09-11
- 开源工具 Claude Unlimited：多账号轮换让 Claude Code 会话不断线 — Similar_Injury_6739 · 2026-09-11
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11