Epoch AI 启动基准审计:首批 15 个评测仅 4 个获 Verified
xeophon · x · 2026-09-18
Epoch AI 推出 Benchmark Reviews 计划,系统性审计 AI 基准测试,首批覆盖 15 个 benchmark:仅 4 个获「Verified」认证,9 个被判定存在缺陷(Flawed),2 个信息不足暂无法评审。
转发者 Xeophon 表示这一结果与其自己的发现一致——「评测没那么烂?哦不,还真是」,并呼吁一起构建达到 Verified 标准的评测。这印证了当前 AI 评测体系的普遍质量危机:大多数广为引用的 benchmark 可能在题目污染、设计缺陷等问题上站不住脚。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「模型」频道最新
- shadcn 谈 Opus：代码「品味」无法靠短期 benchmark 验证 — shadcn · 2026-11-04
- 用户吐槽 Claude「Ultrafast」模式：限额度烧得快 8 倍，不如推出省额度的 flex 速度档 — Lucky_Creme_5208 · 2026-11-04
- OpenAI 撤销 Codex 逆向工程禁令,与 Anthropic 安全路线渐行渐远 — AccBalanced · 2026-11-04
- Haiku 也能做出 Opus 级动画?作者实测称看不出明显差距 — Lazar988 · 2026-11-04
- Mistral Large 4 实测：133 个 agent 挖出并修复 Django CVE 漏洞 — MistralAI · 2026-11-04
- 谷歌联合 Mercor 发布工程基准 PLE,85 项任务全部前沿模型低于 50% — teortaxesTex · 2026-11-04