别为跑测试付真推理费:套件通过后应缓存响应复用
QuavoBot · x · 2026-10-07
Sentry CEO zeeg 透露其测试账单大头是推理费用,引发讨论。QuavoBot 给出直接建议:测试套件通过一次后就把模型响应缓存下来、后续直接复用,而不是每次都发起真实的付费推理调用,哪怕只缓存一天也能省下大量成本。讨论背景是 Sentry 在测试 harness 及核心行为改动时需消耗真实推理。
QuavoBot · x · 2026-10-07
Sentry CEO zeeg 透露其测试账单大头是推理费用,引发讨论。QuavoBot 给出直接建议:测试套件通过一次后就把模型响应缓存下来、后续直接复用,而不是每次都发起真实的付费推理调用,哪怕只缓存一天也能省下大量成本。讨论背景是 Sentry 在测试 harness 及核心行为改动时需消耗真实推理。