Agent 缓存可大幅省 token
Roger_M_Taylor · x · 2026-07-14
转发内容讲的是一种**把 token 成本压下来的 agent 构建方式**。核心观点是：将“不会变化的内容”放在 prompt 顶部——例如工具、system、文档——并在静态部分结束处明确切分，便于缓存。 文中给出的要点包括： - 把静态内容放在前面，缓存后可把 108,000 tokens 的输入压到 11 tokens 级别。 - 只要有一个多余空格，缓存就会失效，仍按全价计费。 - 缓存有效期约 5 分钟，每次读取会重置时钟。 - 缓存 tokens 不计入速率限制，相当于额外的免费吞吐。 整体是在强调：很多人还没利用好缓存机制，而这类 prompt/上下文组织方式一上来就可能回本。