审计 15 个基准 9 个有缺陷:Terminal Bench 4.0 超 45% 任务是坏的
ajratner · x · 2026-09-18
一批研究者对 15 个 AI 基准进行了审计,给其中 9 个标记为有缺陷:
- Terminal Bench 4.0:结合 GitHub issues 复查后发现 45.5% 的任务存在问题
- HLE:随机抽样的 48 道题中 46% 是坏的
- DeepSWE 1.1:发现一个会影响所有任务评分的 bug
审计方 alexgshaw 回应质疑时表示,他们自己持续维护这些基准,相关 GitHub issues 也是他们提交的。这条线索再次凸显了当前 LLM 评测基准质量参差、榜单分数可信度存疑的问题。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「研究」频道最新
- 387篇论文凝练一个判据：AI for Science 该换模型还是换测量 — bravo_abad · 2026-11-04
- Noetra 员工分享首秀：为多模态 LLM 从零造图像编码器 — HirokatuKataoka · 2026-11-04
- 日本团队全自研图像编码器，媲美 SigLIP2 并支持中日英 — HirokatuKataoka · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- 清华 BEMULA 基准:AI 智能体记忆遗忘端到端通过率不足 1.5% — rohanpaul_ai · 2026-11-04
- KAIST 提出 FactEmbed：分解式潜在向量改进组合图像检索 — kaist-ai · 2026-11-04