Epoch AI 审计 15 个基准:4 个可信、9 个有缺陷，反驳「别只批评」
hugobowne · x · 2026-10-27
Epoch AI 推出 Benchmark Reviews 计划，首批审计 15 个基准：4 个通过验证、9 个存在缺陷、2 个信息不足无法评审。
Hamel Husain 转发并回应了三种常见反驳：基准方已知问题并在改进；批评者不如直接贡献；有缺陷的判定过于二元。他认为这些反驳站不住脚——这些基准牵动数百万美元的 token 支出，很多人盲目相信榜单能泛化到自己产品，只看头条数字。新模型一发布，就有成千上万的视频拿某个基准当主要质量指标画帕累托前沿，却从不质疑基准本身。
他主张应当欢迎质疑，鼓励大家形成对模型能力的独立判断。
「研究」频道最新
- Wolfram ARC Prize 演讲：计算不可约性保证发现永无止境 — mhmazur · 2026-10-27
- BEACON 论文获 NeurIPS 2026 接收:让模型自己学跨域数据该信多少 — hankyang94 · 2026-10-27
- 4 个月从零训出模型，Recursive 团队几乎全程用自动研究 — altryne · 2026-10-27
- Nestor 架构在预训练与长上下文续训中胜过同等稀疏度 MoE 基线 — teortaxesTex · 2026-10-27
- kohya 实测 MOSS-Image Control LoRA：kv cache 方案推理开销降至 concat 一半 — bdsqlsz · 2026-10-27
- 新基准揭示：AI 诊断皮肤问题时常「发明」不存在的病症 — Individual-War3274 · 2026-10-27