亚马逊论文:LLM 评委做 Agent 评估时 57.5% 满意对话实际任务失败
dair_ai · x · 2026-09-14
Amazon 的新论文系统检验了「LLM 用户模拟器 + LLM 评委给对话打分」这一常见 agent 评估范式,发现它在两个具体方面失效:
- 满意度不等于成功率:被评为满意的对话中,57.5% 实际上任务失败
- 势均力敌时排名出错:在能力差距大的 agent 之间排名尚可,但在能力接近的 agent 对中,评委有 31% 的概率选出回报更低的那个;而差距悬殊的对里错误率不足 1%
研究覆盖 6 家厂商的 25 个 agent,基于 tau2-bench 和 SimulatorArena。评委还偏袒与自己同一家族的模型。
修复成本低:免评委的 completion 位可捕捉截断回归,评委仅在对照 ground truth 校准后才可信。
「编程与Agent」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- jh3yy：AI agent 第一次让工具跟上我的大脑，找回心流 — jh3yy · 2026-10-31
- CAFE 生态周报：Maple 三天迁移 30 万行 React 到 Foldkit — samgoodwin89 · 2026-10-31
- 二十年没写代码，他用 Claude 做出百星开源 TV 启动器 — SuB8u · 2026-10-31
- Factory 收购 typedef_ai，为 AI agent 补上企业数据上下文层 — maddiehfaulkner · 2026-10-31
- 浏览器 Agent 丢链后图搜索救场:5/5 对单轨迹回放 0/5,作者主动更正数据 — JeremyCMorgan · 2026-10-31