API 调用烧钱无底洞？这款开源 Eval 工具带硬熔断与回放
memebigboi1243232131 · reddit · 2026-08-06
一位独立开发者在开发 iOS 应用时，因评估框架只关注模型 Token 成本而忽略了外部 API 调用费用，意外产生了 156 加元的 Google Places 账单。为此，他开源了一款名为 CostEval 的 TypeScript 评估工具。
核心功能与设计理念：
- 成本控制：运行前提供成本估算，并在运行中设置硬熔断（kill switch），当实际花费超阈值时自动中止。
- Record Replay：仅对非 LLM 的外部 API 调用进行记录与回放，以实现重跑和 CI 零成本；同时保持模型输出实时生成，避免因冻结模型输出而掩盖逻辑错误。
- 精细化测试：支持将用例标记为 expectedToFail（如在小乡镇搜纯素食餐厅），若该用例意外通过则触发警报，防止系统过度承诺。报告提供每项检查的单独通过率，而非笼统的总分。
「编程与Agent」频道最新
- 播客预告：如何设计可验证的AI数据智能体 — hugobowne · 2026-08-06
- 长上下文瓶颈破局：多智能体编排优于扩展上下文窗口 — bingxu_ · 2026-08-06
- 自主智能体威胁加剧，安全专家呼吁重估风险模型 — chrisrohlf · 2026-08-06
- 自主智能体爆发，传统威胁模型面临失效 — chrisrohlf · 2026-08-06
- 拆解 ChatGPT Work：三周破千万用户的智能体架构 — iamrobotbear · 2026-08-06
- charliermarsh：AI Agent 正在摧毁开源代码审查的传帮带 — charliermarsh · 2026-08-06