Epoch AI 首批审计 15 个基准：9 个有缺陷
9 月 18 日，研究机构 Epoch AI 宣布推出 Benchmark Reviews 计划，开始对 AI 基准测试本身进行系统性审计，旨在回应基准质量参差不齐的问题。首批覆盖 15 个热门基准（@burnytech 转述称这批基准主要面向 AI agent 场景），结论是：仅 4 个获「Verified」认证，9 个被判定存在缺陷（Flawed），2 个因信息不足暂无法完成评审。这意味着业界广泛引用的主流基准中多数未通过审计，对当前模型能力评估的可信度构成直接挑战，多位社区作者（如 @xeophon、@charliermarsh、@Jsevillamol 等）转述并展开讨论。
已确认
- Epoch AI 推出 Benchmark Reviews 计划，系统性审计 AI 基准测试，首批覆盖 15 个基准：4 个 Verified、9 个 Flawed、2 个信息不足无法评审
- Humanity's Last Exam（HLE）审查方法为从 8 个学科（生物/医学、化学、计算机、工程、人文社科、数学、物理、其他）各抽 6 题共 48 题，随机抽样中发现 46% 的题目存在问题，@charlesirl 转述称这些问题属于实质性错误
- Terminal Bench 4.0 结合 GitHub issues 复查后，Epoch 报告 66 个任务中 30 个存在评分缺陷（可被利用的 grader、答案泄漏、正确解被拒等），占比 45.5%
- DeepSWE 1.1 被发现存在缺陷，DeepSWE 团队回应称欢迎审查与公开讨论
- Epoch 研究员 Michelle Campeau 指出，Anthropic 自曝其 Critical Point 基准约四成题目有问题
- PostTrainBench v1.1 获「Verified」认证，是首批通过审计的基准之一
- @burnytech 转述称 RL 相关评测环境的问题更为严重
尚未确认
- Terminal Bench 4.0 维护方回应质疑审计的严谨性，反驳「TB 4.0 已损坏」的解读；@DimitrisPapail 也认为评分缺陷不等于基准整体损坏，Epoch 方面尚未公开回应
- @simonguozirui 转述 alexgshaw 的质疑：基准本质是软件、软件必有 bug，此类审计方法本身是否公允仍存争议
为什么重要
- 基准测试分数是模型能力评估与排行榜排名的核心依据，多数主流基准未通过审计意味着当前许多模型间比较的可信度存疑
- 该计划为社区提供了区分可信与不可信基准的公开参考，可能推动基准设计与使用方式的改进；同时审计方法与「Flawed」标签的边界（评分缺陷是否等于基准失效）正引发维护方与社区反弹，后续方法论之争值得关注
- HLE、Terminal Bench 等被广泛使用的基准被披露高比例题目问题，且连 Anthropic 自建基准也被自曝大量问题，提醒使用者在引用分数时应关注数据质量
2026-09-18 ~ 2026-09-20 · 22 条相关
一手来源
- Epoch AI 启动基准审计:首批 15 个评测仅 4 个获 Verified — xeophon ·
- Epoch AI 审查「人类最后的考试」:抽检 46% 题目存在实质性错误 — charles_irl ·
- Epoch 报告 30/66 任务有评分缺陷,但基准并非"已损坏" — DimitrisPapail ·
- 【源头】Epoch AI 启动基准审计:首批 15 个评测仅 4 个获 Verified — xeophon · 2026-09-18
- Epoch AI 推出 Benchmark Reviews:首批判 15 个榜单,9 个有缺陷 — Jsevillamol · 2026-09-18
- Epoch AI 审计 15 个 AI 基准:9 个有缺陷,HLE 抽样 46% 题目有问题 — morqon · 2026-09-18
- 审计 15 个基准 9 个有缺陷:Terminal Bench 4.0 超 45% 任务是坏的 — ajratner · 2026-09-18
- Epoch AI 审计基准测试:15 个里 9 个有缺陷,仅 4 个通过验证 — joecole · 2026-09-18
- Epoch AI 首批基准审计:15 个基准 4 个 Verified 9 个 Flawed,PostTrainBench 过审 — maksym_andr · 2026-09-18
- 审计称 Terminal Bench 4.0 有 45.5% 任务损坏，维护方回应质疑其严谨性 — DimitrisPapail · 2026-09-19
- 【源头】Epoch 报告 30/66 任务有评分缺陷,但基准并非"已损坏" — DimitrisPapail · 2026-09-19
- Epoch AI 发起 Benchmark Reviews:15 个 Agent 基准中 9 个被判定有缺陷 — burny_tech · 2026-09-19
- 研究者回应 Terminal Bench 审计争议:已知问题仅影响榜单不到 3% — AlexGDimakis · 2026-09-19
- Epoch AI 启动基准审计:15 个基准 9 个被判「有缺陷」引反弹 — DimitrisPapail · 2026-09-19
- Epoch AI 审计 15 个基准：Anthropic 自曝 Critical Point 四成题目有问题 — Jsevillamol · 2026-09-19
- 【源头】Epoch AI 审查「人类最后的考试」:抽检 46% 题目存在实质性错误 — charles_irl · 2026-09-19
- Epoch AI 审计 15 个 AI 基准:9 个有缺陷,RL 环境更堪忧 — burny_tech · 2026-09-19
另有 8 条近重复转述:Jsevillamol · stochasticchasm · iamrobotbear · pvncher · Jsevillamol · Jsevillamol · simonguozirui · Jsevillamol