Epoch AI 首批基准审计:15 个基准 4 个 Verified 9 个 Flawed,PostTrainBench 过审
maksym_andr · x · 2026-09-18
Epoch AI 启动 Benchmark Reviews 计划,对 AI 基准做独立审计,首批覆盖 15 个基准:4 个 Verified、9 个 Flawed、2 个信息不足以评审。PostTrainBench v1.1 获「Verified」认定,团队同步发布逐条回应:
- 针对「过拟合单一评测」的批评:这正是设计意图——每个 agent 只有一张 H100、十小时预算做后训练,预算内教通用可迁移技能不现实,问题是能否在目标基准上提升模型
- 针对「评分均值与方差问题」:团队人工核验被判污染的运行,确认裁判模型校准无误
- 承认部分批评成立,即将发布 v1.2 修复主要问题及自查发现的新问题
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04