三行 prompt 改动，让 token 账单一周涨了 30%

Illustrious-Second-7 · reddit · 2026-07-23

一个团队排查出：只改了 3 行 prompt，就让 token 账单在一周内上涨了 30%。

排查过程

最后发现，是为了修复某个少见格式错误，往 system prompt 里加了 3 个示例输出。这个修复本身是对的，但它被预置到了每一次调用里；而真正触发这个边缘 case 的请求大约只有 200 次里 1 次。

为什么会拖一周

关键在于能把当前 prompt 和上周版本做 diff，精确看出到底新增了什么文本。没有 prompt 版本历史时，团队只能看到成本曲线往上走，却无法定位到底是哪次改动导致的。

结果与结论

他们把示例改成只在命中问题输入时才加载，费用回到基线。

作者的结论很直接：prompt 改动就是成本改动，prompt 也应该像代码一样保留可 diff 的版本历史，否则遇到成本回归时根本没法追责。

「编程与Agent」频道最新