AI 智能体审计 5 大主流 benchmark,自主发现 100+ 处评分错误
VictorSanh · x · 2026-11-21
Hugging Face 的 VictorSanh 团队用 AI 智能体审查行业最常用的 5 个 benchmark,自主发现 100+ 处疑似任务说明与评分错误,且每个 benchmark 至少有一处被证实:
- Agents' Last Exam:不建 dashboard 也能满分;评分器把 5.9 当作与 5 精确匹配(比较前截断了小数);
- AutomationBench:任务是创建每周 office hours,但全部 9 项检查只看邮件,从不检查日程是否真的创建;
- Harvey LAB:评分标准期望 $0,而源表格记录的是 800 万美元;
- Terminal Bench Science:一个未声明的平局规则能让同一份报告通过或挂掉;
- Terminal Bench 2.0:要求报告含 3 个字段,却只定义了 2 个。
作者指出:团队用这些 benchmark 分数来选模型、决定发布什么、调优 agent——错误的评分器让所有这些决策都站不住脚。
所属事件:AI 智能体自动审计五大热门基准,查出 100 多处评分错误(3 条相关)→
「模型」频道最新
- 数学家联手Claude宣称证明黎曼猜想:1737万行Lean代码待验证 — imjustnewatai · 2026-11-21
- 谷歌两周连发:Gemini 4 三款新模、Genie 4 世界模型、Robotics 2.5 等八项 — GoogleAI · 2026-11-21
- 传 Anthropic 模型已破解主流加密算法,或仅向官方披露 — basedjensen · 2026-11-21
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- 语音对话模型别只看每分钟价格,失效通话成本才是大头 — graceisford · 2026-11-21
- Persimmon v0.1 Pro 与 Ultra 版本上线 Playground 并开放 API — gharik · 2026-11-21