基准饱和后怎么办:研究者提出持续演化基准与 OOD 技能习得测量

novasarc01 · x · 2026-11-12

novasarc01 讨论基准测试的「分布级过拟合」问题:多数已饱和的 benchmark 除数据污染外还存在分布过拟合。他主张构建持续演化的基准,包含未见过的任务族和开放式环境,并测量学习效率与迁移能力——即针对基准的训练能迁移到多少独立创作的新任务。他结合生成合成任务的经验指出,生成需要不同推理方式的新问题远难于堆数量;并提议设置对照组来区分基准特化训练与真实能力提升,以及通过动态基准测量 OOD 技能习得。