三行 prompt 改动,让 token 账单一周涨了 30%
Illustrious-Second-7 · reddit · 2026-07-23
一个团队排查出:只改了 3 行 prompt,就让 token 账单在一周内上涨了 30%。
排查过程
- 流量没变
- 重试风暴没有
- agent 循环没有失控
- max tokens 没动
- 上下文窗口也没爆
最后发现,是为了修复某个少见格式错误,往 system prompt 里加了 3 个示例输出。这个修复本身是对的,但它被预置到了每一次调用里;而真正触发这个边缘 case 的请求大约只有 200 次里 1 次。
为什么会拖一周
关键在于能把当前 prompt 和上周版本做 diff,精确看出到底新增了什么文本。没有 prompt 版本历史时,团队只能看到成本曲线往上走,却无法定位到底是哪次改动导致的。
结果与结论
他们把示例改成只在命中问题输入时才加载,费用回到基线。
作者的结论很直接:prompt 改动就是成本改动,prompt 也应该像代码一样保留可 diff 的版本历史,否则遇到成本回归时根本没法追责。
「编程与Agent」频道最新
- Reticle 推出 AI 编码代理验证层:让 agent 自查生成的代码是否真的能跑 — Scobleizer · 2026-10-27
- 开发者正训练「看门模型」:专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- 前大厂管理者观点:把团队换成 agents,优秀管理方法论依然成立 — lxfater · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 审计 iPhone 备份,揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin:手机不是移动 IDE,而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27