Contrary 深研：AI 基准测试失效，行业正在爬错的山
rseroter · x · 2026-10-22
Contrary Research 发布 24 分钟长文《AI Benchmarks: Climbing the Wrong Hills》，核心论点是 Goodhart 定律已经降临 AI 基准测试：当指标成为目标，它就不再是好指标。
- 基准与现实的脱节：早期基准测的是模型远未达到的能力，分数提升是真实进步的副产品；如今前沿实验室针对基准专项优化（作者称为 "benchmaxxing"），涨分不再等于真实能力提升。
- 基准已成一个庞大产业：基准不仅测量模型，还在训练中塑造模型的优化方向，甚至决定了模型被设计成什么样的能力。
- 污染问题：基准数据泄漏进训练集进一步削弱可信度。
- 修复方向：需要由领域专家构建、衡量「我们真正想要 AI 做什么」的基准，这要求很强的产品判断力来决定该测什么。
文章结论：下一代基准不必重蹈覆辙，问题要从构建方式上解决。
「模型」频道最新
- Ingot 一周量化 Qwen 27B 到 FP8，多项基准反超阿里官方版本 — const_reborn · 2026-10-22
- 评测图更新:神秘 Mirendil-Base 在代码交叉熵上压过 Kimi-K3 与 Beam — bigblueboo · 2026-10-22
- 当代码全是 AI 写的：内部 PPL 还能当预训练评估金标准吗 — josh_wills · 2026-10-22
- 实测 Claude Projects：本质是范围更小的编排器，按项目隔离上下文 — RileyRalmuto · 2026-10-22
- AA-PersonalityBench:Gemini 系最自信也最不肯承认不确定 — ArtificialAnlys · 2026-10-22
- Grok 机器人进驻 X 私信,可主动发起聊天 — altryne · 2026-10-22