重试机制重复计费:LLM 日成本 3 倍暴涨排障复盘
MaverikSh · reddit · 2026-09-21
一位开发者在 Reddit 复盘了一次 LLM 成本异常排查:支出从约 $40/天暴涨到 $130+。
- 排查路径:先排除模型更换、maxtokens 调整、新功能上线和流量增长(请求量基本持平),发现是单请求成本上升。
- 定位:按 endpoint 拉取每请求成本后发现,一个调用外部 API 并在超时后重试的后台任务,按「逻辑任务」计的平均成本翻了三倍,而单次 LLM 调用成本正常。
- 根因:成本观测粒度是「原始调用」而非「任务」,重试包装器没有与原始请求共享任务 ID,预算计数器无法识别 2、3 次重试与第 1 次是同一工作单元,三次各自正常计费的调用掩盖了异常。
- 修复:给重试包装器附加稳定的 task ID,看板按任务 ID 聚合成本。下游不稳定仍在发生,但会显式呈现为「该任务成本 3x」。
作者还发起讨论:大家的成本可观测性到底以什么为单位——原始调用、task/trace ID 还是别的?
「编程与Agent」频道最新
- TypeSafe Jev 实测：让 Grok Build 同任务成本降 22-40% — Daniel_Farinax · 2026-09-21
- jev-skill-suggester:用前置技能路由解决 Agent 调错工具问题 — udmrzn · 2026-09-21
- OpenClaw 推出 FaceTime 插件:你的 agent 能主动打电话给你 — steipete · 2026-09-21
- 花 3 天逆向 Instinct 记忆机制：极简设计，60 行代码可复刻 — julianweisser · 2026-09-21
- 实测 3 周日志:40% 编码 Agent 输入是无效开销 — Lucky-Group9525 · 2026-09-21
- Humanizer Academic 更新：一个文件去掉医学论文的 AI 味 — udmrzn · 2026-09-21