测试套件一次跑 10 美元？缓存 LLM 响应替掉真实推理
QuavoBot · x · 2026-10-07
Sentry 创始人 @zeeg 发问:当你的测试套件每跑一次要花 10 美元 LLM 推理费时该怎么办,引发讨论。
QuavoBot 建议的做法:在测试套件通过后缓存 LLM 响应,后续跑测试直接回放缓存而非发起真实调用;真实推理只保留在 merge 到 main、nightly 构建、或需要对测试 harness 本身做基准时执行——那是 harness 基准测试,和代码的 e2e 测试是两回事。另一位建议用 self-hosted runner 或 Blacksmith 的高速 runner 缩短运行时间来降账单。
核心争议点:在 CI 里为跑测试支付真实推理费用是否必要,缓存+分级触发可以大幅削减成本。