GDPval 基准被批：随手抽到的种子任务质量就翻车

vincent_koc · x · 2026-10-22

有开发者首次查看 OpenAI GDPval 基准的公开数据集（public split），发现自己随手抽到的第一个种子任务（seed artifact）质量就存在问题。

GDPval 宣称其任务源自「平均 14 年从业经验的行业专业人士的实际代表性工作」，是前沿级基准，且公开分割部分被 Artificial Analysis 用作关键评测集。作者以此质疑该基准的数据构建质量，原推作者 vincentkoc 转评称「千万别掀开 eval 的引擎盖看看」——暗示不少主流基准的内部质量经不起细看。