Epoch 推出 Benchmark Reviews 基准审计计划：15 个基准仅 4 个通过验证
stochasticchasm · x · 2026-09-18
Epoch AI 宣布推出 Benchmark Reviews，一项对 AI 基准进行系统性审计的新计划，首批覆盖 15 个基准：4 个 Verified（通过验证）、9 个 Flawed（存在缺陷）、2 个信息不足以完成审查。这意味着多数常用基准都存在问题。
社区反响：Arthur Bresnu 称其为「一条推文说尽 agentic evals 现状」的重要工作，希望它能促使更多人重视基准质量问题；stochasticchasm 转发表示赞同。对做 agent 评测的人来说，这是一份直接决定该信哪些榜单的参考。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「研究」频道最新
- 387篇论文凝练一个判据：AI for Science 该换模型还是换测量 — bravo_abad · 2026-11-04
- Noetra 员工分享首秀：为多模态 LLM 从零造图像编码器 — HirokatuKataoka · 2026-11-04
- 日本团队全自研图像编码器，媲美 SigLIP2 并支持中日英 — HirokatuKataoka · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- 清华 BEMULA 基准:AI 智能体记忆遗忘端到端通过率不足 1.5% — rohanpaul_ai · 2026-11-04
- KAIST 提出 FactEmbed：分解式潜在向量改进组合图像检索 — kaist-ai · 2026-11-04