Beaker 自动审查五大热门 AI 基准,发现 100 多处评分错误
VictorSanh · x · 2026-11-20
Hugging Face CEO Clement Delangue(VictorSanh 转发)传播了 Beaker 团队的一项审计:对五个广泛使用的 AI 基准(含 Harvey LAB、Terminal Bench Science 等)进行自动审查,发现超过 100 处任务指令与评分错误,每个基准至少核实出一处。
典型错误包括:
- Agents' Last Exam:评分器把 5.9 当作 5 的精确匹配(比较前截断小数),且只检查 JSON 文件、不检查仪表盘是否存在
- AutomationBench:任务要求创建 Calendly 办公时间,但九项检查全是邮件、从不验证排期链接是否生成
- Harvey LAB:期望输出 $0,而源表格记录的是 800 万美元
- Terminal Bench Science:同一份报告因未声明的平局规则被判过或判挂
- Terminal Bench 2.0:要求三个报告字段却只定义了两个
文章指出,团队用基准分数选模型、决定上线与调优 agent,错误的评分会让这些决策建立在流沙之上。Beaker 的 Dataset review 功能可自动比对任务指令、评分规则与源文件,标记不一致并给出修正建议。
「编程与Agent」频道最新
- Claude Code 新版悄然删除高风险操作前确认的系统规则 — ClaudeCodeLog · 2026-11-20
- 前 Google 工程师开源 CLI,让 Claude Code 与 Codex 同室对话 — thechrisperry · 2026-11-20
- vibe-codevember 第 17 天:用 Gemini 造出 WebGPU 海带灯笼 — AI_Andrew · 2026-11-20
- Burkov 发现 Codex 疑似 bug:建议追问知错,Agent 本体却不知 — burkov · 2026-11-20
- 作者支招:告诉 Claude「失败不是选项」,逼它改写 kernel 适配你的 GPU — QuixiAI · 2026-11-20
- Codex 未关闭 issue 近 2.8 万:主流 agent 工具维护压力对比 — SuaveSteve · 2026-11-20