Epoch AI 审计 15 个基准：Anthropic 自曝 Critical Point 四成题目有问题
Jsevillamol · x · 2026-09-19
- Epoch AI 推出 Benchmark Reviews 计划，首轮审计 15 个 AI 基准：4 个 Verified、9 个 Flawed、2 个信息不足无法评审。
- Epoch 研究员 Michelle Campeau 指出：模型跑分一夜提高 40%，可能只是基准变了而非模型变强。Anthropic 在最新 system card 中承认物理基准 Critical Point 有超过 40% 的题目是坏的，于是自己运行了一个修正版——但该版本不对公开，别人无法把分数与历史成绩比较。
- 她提醒：直接跨版本对比可能得出「分数提升 40%」的错误结论，基准上的最高分往往是你了解模型表现的唯一信息，但这并不可靠。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04