Agent 跑 54 次过 35 次，95% 置信区间却宽达 44%–83%，该怎么报？

cneuralnetwork · x · 2026-11-04

开发者 @singhrounakkumr 指出 agent 评测的统计陷阱：一个 agent 在 54 次运行中通过 35 次（约 65%），但 95% 置信区间宽达 44.4%–83.3%——单次跑分远不足以说明真实水平。

他公开了自己的 repolace benchmark、完整的运行记录，以及一篇复盘文章，讲清自己此前在报告方式上错在哪里。核心结论是：agent 评测必须报告多次运行的区间与方差，而不是拿一次 pass rate 下结论。