模型不会判卷但会挑答案，agent 评测复用提分 58%→70%

zainhas · x · 2026-10-14

@TuXinming 的线程提出 agent eval 的二次利用思路，zainhas 转评称其「insightful」：

问题：agent 评测会跑成千上万次 run，但每次结果只用一次就丢，只为得出一个分数。
做法：隐藏 run 的执行结果，把 5 个 run 交给另一个 agent，只问一句「这个任务完成了吗」，让它挑出最可能成功的那一个提交评分。
核心发现：模型当裁判（judge）很差，但当「选择者」（chooser）很好——从 5 个 run 里挑 1 个，就把 Fable 5.1 在 Terminal-Bench 4.0 上的成绩从 58% 拉到 70%，相当于免费提取 pass@5 的上限。配图显示该收益在各模型上普遍成立（如 GLM-5.3 41.8→45.8，GPT-5.6 Sol 37.3→49.7）。
开放问题：zainhas 追问这一方法在难以验证的领域（hard-to-verify domains）是否同样有效。

「编程与Agent」频道最新