新榜单 60% 题目保密，benchmaxxing 时代要终结了？

teortaxesTex · x · 2026-10-29

@ziwenxu 提出：多年来 AI 实验室可以针对榜单测试题训练模型、刷出高分，但实际使用表现平平。如今最大的 AI 排行榜将 60% 的题目保密，「没见过的题没法突击」，排名终于有望反映模型在真实场景中的能力——这也将检验谁真正造出了最聪明的 AI。

@DanielFein7 回应认为这种观点被夸大了：最容易构建、又与基准对齐的环境就是定义良好的编码任务，所以各家模型都掌握了这个能力；现在的目标变成了定义不良的编码任务与科学/数学能力，各家模型会很快跟进，前沿也将转向其他方向。问题不在于测什么（什么都能测），而在于选择优先什么。若前沿实验室不再用常规经济价值任务来展示性能，这对它们的形象确实不利。