测试 agent 别跑真推理:用 mock 模拟 LLM 响应更省钱
zwerp · x · 2026-10-07
开发者在讨论 AI agent 测试实践:有人质疑为什么要在测试 harness 时跑真实推理,指出这会给本可确定性的测试引入不确定性,建议用 mock/模拟的 LLM 响应覆盖所有边界情况。另有人吐槽现实困境——跑一次测试套件就要花 10 美元。
zwerp · x · 2026-10-07
开发者在讨论 AI agent 测试实践:有人质疑为什么要在测试 harness 时跑真实推理,指出这会给本可确定性的测试引入不确定性,建议用 mock/模拟的 LLM 响应覆盖所有边界情况。另有人吐槽现实困境——跑一次测试套件就要花 10 美元。