审计发现 agent 榜单四类静默 bug:13 分差距实为平局
akorecebov · reddit · 2026-11-10
论文《Silent Instrument Errors Reorder Agent Leaderboards》（arXiv 2611.04399）仅用 HAL 和 tau2-bench 的公开运行记录，就发现四个从未报错的 bug，却足以重排榜单：
- 成本列把父子 trace span 重复累加，134 次运行中 70 次成本恰好翻倍，导致成本-准确率曲线变形而非仅缩放。
- 某通用 agent 约一半回合的结束方式从未触发评分器，未评分运行被记为失败；补评后 13 分差距变为平局。
- 归档轨迹把评分器的重放动作记成 agent 所为，占 airline 记录的 68%。
- 用新版评分器重评 tau2，分数漂移 -7 到 +2.5，一个 telecom 数字变动 82 分，且无任何输出提示。
作者的修复建议简单廉价：报告实际评分比例、只从根 span 汇总成本并打印比值、标记每条日志动作的写入者、固定评分器版本并在重评时公布 diff。发帖人反思：自己用小模型写检查代码的 eval 流程，从没想过要验证「检查器本身是否对每一项都跑过」。
「编程与Agent」频道最新
- 开发者用 AI 一夜生成游戏直播录制剪辑应用，UI 相当精致 — talkaboutdesign · 2026-11-10
- 蚂蚁集团推出 SkinMind：图探针式 Agentic RAG 提升皮肤病 AI 可靠性 — antgroup · 2026-11-10
- Anthropic 等五家大厂开源自家 Agent Skills,20 万星库几乎无人用 — blaizedsouza · 2026-11-10
- 6 名「AI 员工」零人类：博主晒全自动团队分工 — CodeByPoonam · 2026-11-10
- Ling-3.2-flash 支持按请求强制或禁用工具调用 — Prudent-Food-2971 · 2026-11-10
- 上线带用户级密钥的远程 MCP 服务器,开发者总结五条实战教训 — Salt_Bike898 · 2026-11-10