Reddit 求助：16 个工单+注入 bug 的编码 Agent 评测框架是否过重

Infinite-Fly-2756 · reddit · 2026-11-03

一位开发者分享了自己的 QA/编码 Agent 确定性评测方案：固定 16 个含参考实现的编码工单、注入 bug 并用隐藏测试验证 Agent 是否真抓到问题，多轮试验统计「正确原因失败率」、bug 捕获准确率、规则遵从（反作弊）与 pass^k/token 成本，并给出 95% 置信区间。

痛点是维护成本高：每次改 prompt 或换模型（Sonnet/Haiku）都要跑全量语料，算力开销大。他向社区提问：生产环境里确定性 harness 是否必要、是否该用 LLM-as-a-judge、以及 Promptfoo/DeepEval 等轻量开源框架的推荐。