Epoch AI 审查「人类最后的考试」:抽检 46% 题目存在实质性错误
charles_irl · x · 2026-09-19
Epoch AI 对知名基准 Humanity's Last Exam 的审查结论是 Flawed(有缺陷)。
- 审查方法:从 8 个学科(生物/医学、化学、计算机、工程、人文社科、数学、物理、其他)各抽 6 题,共 48 题,先用 Fable 5 辅助找错,再人工逐条核实,只保留达证据门槛的错误。
- 结果:48 题中 22 题(46%)存在会改变正确率判断的实质性错误。
- 错误分三类:12 题「按原文不可能答对」(缺少必要前提、前提自相矛盾、存在多种合理解释、要求对主观问题给出客观答案);10 题良构题可能产生假阴性,其中 5 题还可能产生假阳性。
- 典型案例:计算机/AI 类一题要求做「4 点 DFT」离散傅里叶变换,但序列有 8 个样本。
- 该基准由 Center for AI Safety、Scale AI 及独立贡献者通过公众征集编制;本次审查针对原版,不涉及 HLE-Rolling 或 HLE-Verified。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04