Epoch AI 推出基准审计计划：15 个基准中 9 个被认定有缺陷
Jsevillamol · x · 2026-09-20
Epoch AI 宣布启动 Benchmark Reviews 计划，系统性审计各类 AI 基准，首批 15 个中 4 个通过验证、9 个被判定存在缺陷、2 个信息不足无法评审。
DeepSWE 团队回应称欢迎审查与公开讨论，作为其首个基准，他们从一开始就公开了全部任务与评分结果。该团队还透露内部已大幅改进方法，并认为当前又到了没有任何公开基准能准确反映模型能力的阶段，后续工作将着手解决这一问题。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「研究」频道最新
- Noetra 员工分享首秀：为多模态 LLM 从零造图像编码器 — HirokatuKataoka · 2026-11-04
- 日本团队全自研图像编码器，媲美 SigLIP2 并支持中日英 — HirokatuKataoka · 2026-11-04
- LLM-as-judge 该怎么报置信度？开发者拒绝 0-100 分的三条理由 — jokiruiz · 2026-11-04
- 清华 BEMULA 基准:AI 智能体记忆遗忘端到端通过率不足 1.5% — rohanpaul_ai · 2026-11-04
- KAIST 提出 FactEmbed：分解式潜在向量改进组合图像检索 — kaist-ai · 2026-11-04
- Intology Locus 自动设计分子模型，击败 GPT-6 与 Claude 智能体 — rohanpaul_ai · 2026-11-04