评测工程把人工打分降到 77.81 美元，但 judge 仍自相矛盾 13.6%
BLUECOW009 · x · 2026-07-29
这条转述了一篇关于 Agent 评测工程（eval engineering） 的文章：两位研究者用 $77.81 的模型调用替代了 $7,500 的人工打分，但也暴露出生产级 judge 依然很不可靠。
要点包括：
- 同一个 judge 自相矛盾的比例达到 13.6%；
- 它有 72% 的概率偏向先展示的答案；
- 不同 judge 之间的一致性只有 κ = 0.51，统计意义上接近“猜”。
文章主张把评测当成 Agent 系统的一层工程能力，而不是临时脚本：
- 比较时正反顺序都跑一遍再取平均；
- 不要只靠一次判定就上线；
- 重要样本要多次重复试验，用多数票恢复答案；
- 报告应优先看机会校正后的一致性指标，而不是表面命中率。
核心意思很明确：评测本身就是 Agent 产品的一部分。
「编程与Agent」频道最新
- 用 Gemini 玩 Minecraft 模组:游戏内变身任意蜘蛛侠 — zacharynado · 2026-10-16
- 从聊天框到「交互指挥家」:动态多模态 AI 应用设计思路 — dr_cintas · 2026-10-16
- IBM 工程师亲测五级 AI 编码:7 个并行 agent 各建分支再合并 — TejasKumar_ · 2026-10-16
- 10 个让 AI Agent 拆解应用与游戏的开源逆向工具仓库 — victor_explore · 2026-10-16
- 「现在管 AI Agent 像理线缆不是写代码」，CTO 角色正在重构 — HankYeomans · 2026-10-16
- 创业者吐槽 AI agent 用不起来，回应称落地靠组织而非模型 — EdenEmarco177 · 2026-10-16