Epoch AI 审计基准测试:15 个里 9 个有缺陷,仅 4 个通过验证
joecole · x · 2026-09-18
Epoch AI 推出 Benchmark Reviews 计划,对 AI 基准测试本身进行审计,首批覆盖 15 个基准:仅 4 个获「Verified」认证,9 个被判定存在缺陷,另有 2 个信息不足无法评审。这意味着行业大量依赖的评测基准本身质量堪忧,基准分数的可信度需重新审视。
所属事件:Epoch AI 首批审计 15 个基准：9 个有缺陷(22 条相关)→
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04