AI Agent 自动审查 5 大主流基准,发现 100+ 评分错误
VictorSanh · x · 2026-11-21
有团队让 AI agent 自主审查业界最常用的 5 个基准测试,发现 100 多处可能的评分错误,例如:
- Agents' Last Exam:未构建任何面板就拿了满分,把 5.9 分记成 5 分
- AutomationBench:要求每周办公时间,9 项检查全是关于邮件的
- Harvey LAB:评分标准写 $0,源表格里却是 800 万美元
- Terminal Bench Science:存在未声明的平局裁决规则
Hugging Face 的 Victor Sanh 回应表示尊重这些数据集团队,称构建数据集很难,愿意帮忙修复这些问题。
所属事件:AI 智能体自动审计五大热门基准,查出 100 多处评分错误(3 条相关)→
「编程与Agent」频道最新
- 用 CapCut 插件连 ChatGPT 自动剪游戏高光,粗剪后人工挑爆点 — iamfakhrealam · 2026-11-21
- 开发者用 Runway 视频接入 Hermes Agent,吐槽现在 agent 界面太无趣 — alexcovo_eth · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21