周处理百万条消息,AI agent 生产环境降本 37% 的 13 条实操

AccBalanced · x · 2026-11-04

一位 AI agent 开发者分享：其产品每周服务约 100 万条消息，在生产环境中不降价的前提下把成本砍掉 37%，并给出了 13 项改动与具体数字。核心要点：

盯 cache reads 而非 token 数：在 GPT-6 Sol 上，缓存输入 token 每百万 $0.20，未缓存 $2；其聊天 prompt 的 84–90% 已从缓存读取，这一个数字对账单影响最大。
系统提示词拆静态/动态两段：静态部分（指令、规则、示例）放最前以便缓存；随 workspace 或每轮变化的内容放第二块，不破坏上方缓存。
系统提示与工具定义逐字节保持一致：OpenAI 将工具和 system 消息作为一个块缓存，改一个字符整段请求就是 0 缓存命中。

帖子引用的背景：Bloomberg 报道法律 AI 公司 Harvey 因 agent token 用量暴涨 20 倍，毛利率从约 50% 跌至 -50%——凸显推理成本优化对 agent 生意的重要性。

「编程与Agent」频道最新