15 个被审计 benchmark 作者：评估应视为持续改进过程
sarahcat21 · x · 2026-09-19
Epoch AI 发起的 benchmark 审计计划引发从业者讨论。被审计的 15 个 benchmark 之一的作者 @galyo 发文谈体会：
- 当前「测量与优化」深度绑定，知名 benchmark 实际定义了领域内什么算「进展」，这让用批判眼光重新审视现有 benchmark 的工作极其有价值——他称赞 Epoch AI 启动这项倡议。
- 但作为多年做 frontier evals 的人，他强调：发布一个完美无瑕的 benchmark 几乎不可能。
sarahcat21 转发表示赞同：不应把 benchmark 简单分成好/坏、「有缺陷」/「已验证」二类，审计、发现问题并持续改进才是正确视角。
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04