Epoch AI 推出 Benchmark Reviews:审计 15 个基准,9 个被判定有缺陷
Jsevillamol · x · 2026-09-18
研究机构 Epoch AI 启动 Benchmark Reviews 计划,系统性审计 AI 基准测试。首批覆盖 15 个基准:4 个通过验证(Verified),9 个被判定存在缺陷(Flawed),2 个因信息不足暂无法评审。
发起人 Alex Barry 表示,深耕 AI 基准的人会随时间形成「哪些基准值得关注」的判断,希望把这个隐性经验做成可公开获取的资源,同时推动整体基准质量提升。对关注模型评测可信度的人是重要参考。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04