Terminal Bench 4.0 被审计发现大量缺陷，各方激辩影响程度
一项覆盖 15 个基准的审计指出 9 个存在缺陷，其中 Terminal Bench 4.0 有 45.5% 的任务经 GitHub issues 复核判定损坏；Epoch 的审查也发现 66 个任务中 30 个存在评分缺陷（如可利用的 grader、答案泄漏、正确解被拒），但认为基准并非整体「已损坏」。研究者 AlexGDimakis 回应称，审计若发现此前未知的关键问题才算重大发现，已知问题对榜单的影响不到 3%。
2026-09-19 ~ 2026-09-19 · 3 条相关
- 第 1 集:Epoch AI 首批基准审计：15 个中仅 4 个过审、9 个有缺陷(2026-09-18,16 条)
- 第 2 集:Terminal Bench 4.0 被审计发现大量缺陷，各方激辩影响程度(2026-09-19,3 条)
- 审计称 Terminal Bench 4.0 有 45.5% 任务损坏，维护方回应质疑其严谨性 — DimitrisPapail · 2026-09-19
- Epoch 报告 30/66 任务有评分缺陷,但基准并非"已损坏" — DimitrisPapail · 2026-09-19
- 研究者回应 Terminal Bench 审计争议:已知问题仅影响榜单不到 3% — AlexGDimakis · 2026-09-19