Anthropic 研究员：不核查评测就会拟合榜单偏差与噪声

Anthropic 研究员 Antoine Chaffin 提醒模型开发从业者：如果没有认真核查和改进自己运行的评测，就很可能并非在真正提升模型能力，而只是在拟合 benchmark 的偏差与噪声。这一观点对模型训练和评测工作具有重要警示意义，引发社区讨论。

2026-10-26 ~ 2026-10-26 · 2 条相关

• 不做评测改进就会拟合榜单偏差和噪声 — antoine_chaffin · 2026-10-26
• 研究员提醒：不核查评测本身，你只是在拟合榜单偏差与噪声 — antoine_chaffin · 2026-10-26