Beaker 自动审查五大热门 AI 基准,发现 100 多处评分错误

VictorSanh · x · 2026-11-20

Hugging Face CEO Clement Delangue(VictorSanh 转发)传播了 Beaker 团队的一项审计:对五个广泛使用的 AI 基准(含 Harvey LAB、Terminal Bench Science 等)进行自动审查,发现超过 100 处任务指令与评分错误,每个基准至少核实出一处。

典型错误包括:

文章指出,团队用基准分数选模型、决定上线与调优 agent,错误的评分会让这些决策建立在流沙之上。Beaker 的 Dataset review 功能可自动比对任务指令、评分规则与源文件,标记不一致并给出修正建议。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →