nostalgebraist 热传评论：跑分优化正在对抗性攻击我们发现模型缺陷的能力

JacquesThibs · x · 2026-10-28

博主 JacquesThibs 转发并赞同 nostalgebraist 的长文，晒出文中脚注：凡能被形式化为 eval 的东西都可被爬山优化，我们实际上正经历一场「对抗性攻击」——攻击对象是我们察觉并命名模型能力缺口的能力。容易描述的部分都会被优化机器碾平，剩下的缺口恰恰是「能感觉到却难以描述」的部分。在这种条件下看清现状，需要接受「移动球门柱」，拒绝把「指标都在改善」等同于「没有问题」；这显得不够科学，但最终「正确」比「感觉科学」更重要。