研究者回应 Terminal Bench 审计争议:已知问题仅影响榜单不到 3%
AlexGDimakis · x · 2026-09-19
围绕 Terminal Bench 基准的审计争议，研究者 AlexGDimakis 作出回应，核心观点：
- 审计若在半数任务上发现此前未知的关键问题才是重大发现；若只是把已知问题数一遍，帮助有限
- 他赞同 benchmark 不应被视为非黑即白（好 vs 坏、有缺陷 vs 已验证）的观点，审计、发现问题并持续改进才是健康过程
- 关键数据：Terminal Bench 的榜单模型 rollout 全部公开，任何人可让 Claude Code 统计这些已知问题实际影响榜单的比例，结果不到 3%（引用 ryan 的统计）
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04