开发者实测:LLM 评委准确率竟低于被评测的 Agent
jgarg27 · reddit · 2026-10-27
一位开发者在构建「生成搜索查询的 Agent + LLM 评委打分」系统时发现，评委的准确率反而低于被它评分的 Agent：基线测试中 Agent 9 题对 8，评委 9 题只对 7。
问题根源是他此前每次评委出错就临时加一条规则，各规则之间从不交叉验证，导致两类失败：
- 误判失败：加了「空结果=搜错地方」的规则后，一次本来就无结果的正确查询被判为错误，评委还煞有介事地解释了一个不存在的 bug。
- 误判通过：Agent 悄悄回答了比原问题更宽泛的内容，因规则未覆盖该情形而蒙混过关。
他的改进方案：
- 建立固定标注集，每条历史运行标注预期结果（应返回结果 / 应返回空 / 不打分），其中「应返回空」标签最关键——此前评委完全没意识到空结果也可能是对的。
- 生成与评判解耦：Agent 运行昂贵，只存储运行结果，评委改动后针对存储集重跑回归，一次完整回归成本远低于单次 Agent 运行。
他还在征集社区做法：如何防止评委规则对最近翻车的案例过拟合。
「编程与Agent」频道最新
- 博主用 Claude Code 自制新闻联播风片头，卡在配音环节 — xiaohu · 2026-10-27
- 开源项目 GEAR 冲上 Hugging Face 趋势榜 — WizardTY · 2026-10-27
- Skill∞让智能体把「优化技能的方法」也写成技能，实现递归自我改进 — NationalUniversityofSingapore · 2026-10-27
- 多 Agent 场景凭名字发凭证不可信,开发者提出五条运行时安全原则 — karc16 · 2026-10-27
- 傅盛：一周没登飞书,审批消息全交给 Agent 只做审核 — FuSheng_0306 · 2026-10-27
- 三行配置防下一个 Shai-Hulud：npm 供应链攻击加固实践含完整 prompt — kesarito · 2026-10-27