Epoch 报告 30/66 任务有评分缺陷,但基准并非"已损坏"
DimitrisPapail · x · 2026-09-19
Epoch 对 Terminal-Bench 4.0 的审查发现 66 个任务中 30 个存在评分缺陷(可被利用的 grader、答案泄漏、正确解被拒等),引发"TB 4.0 已损坏"的解读争议。
@DimitrisPapail 认为 Epoch 虽未明说 broken,但呈现方式容易让人误解为"不可信"。@ajratner 补充关键事实:这些问题正是 terminal-bench 团队自己以 PR 形式标记的(Epoch 由此发现),且实证确认仅影响不到 3% 的榜单 rollout,远在报告的置信区间内。
各方共识:grader 可被利用确实需要修复,但"30/66 任务有缺陷"不等于"45% 结果错误"——可利用性不等于实际被利用频率。团队正在推进开源基准持续改进的模式,这是一个持续演进的基准而非失效的基准。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「研究」频道最新
- Noetra 员工分享首秀：为多模态 LLM 从零造图像编码器 — HirokatuKataoka · 2026-11-04
- 日本团队全自研图像编码器，媲美 SigLIP2 并支持中日英 — HirokatuKataoka · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- 清华 BEMULA 基准:AI 智能体记忆遗忘端到端通过率不足 1.5% — rohanpaul_ai · 2026-11-04
- KAIST 提出 FactEmbed：分解式潜在向量改进组合图像检索 — kaist-ai · 2026-11-04
- Intology Locus 自动设计分子模型，击败 GPT-6 与 Claude 智能体 — rohanpaul_ai · 2026-11-04