月账单 1.14 万美元查不清去向：一个团队的 LLM 成本失控复盘
vigilAPI · reddit · 2026-10-10
一个跑着约 15 个 LLM 功能（agent、分类、摘要）的团队发现推理开销一个季度涨了约 8 倍，上月达 11,400 美元，却说不清是哪个功能、哪家供应商、哪个客户造成的——Datadog/Sentry 全绿，因为调用都藏在散落代码库的 SDK 里。复盘发现三个隐形坑：
- 无上限的 retry helper：某次事故期间加的重试逻辑没有封顶，供应商限流时一次调用悄悄变成 40 次，跑了六周；
- prompt 膨胀：一个摘要 prompt 在多次「小改动」后从 1.2k tokens 涨到 9k，调用次数不变、成本涨约 7 倍；
- 客户的 injection 尝试：某客户账号持续发送近似 prompt injection 的内容，团队为每一次都买了单。
作者的解法是把所有供应商流量统一路由到一个 proxy URL，让成本、延迟、错误、injection、PII 都按功能和 key 归因。两条建议：在需要解释账单之前就先把花费归因到功能/租户；以及——真的要给 retry 加上限，那段事故期 helper 还在你的仓库里。
「编程与Agent」频道最新
- 人类沦为审稿乙方：AI 代写方案让审查成本反超生成成本 — yangyi · 2026-10-10
- 吐槽：5 美元一个任务的『超级智能』，改起 mod 来还是烂 — Aryvyo · 2026-10-10
- TokenMaster 发布：比 ccusage 更美观的 Token 用量统计工具 — cneuralnetwork · 2026-10-10
- Matt Pocock:让 Agent 把重复任务固化为自有的 CLI 脚本与 skill — mattpocockuk · 2026-10-10
- 让 Claude 设计「制造机器的机器」：27 层结构造出可用继电器 — dosco · 2026-10-10
- 用 DeepSeek 破解 DJI Pocket3 协议,半天写出电脑控制相机的 CLI 工具 — IgorCarron · 2026-10-10