前 evals 开发者反思:用训练数据样本当评测,防刷榜却牺牲了太多

JoshPurtell · x · 2026-11-02

Josh Purtell 发帖反思 eval 行业的一个转向:过去有很多专为评测设计的优秀 evals,其他实验室会在其上训练并不可避免地「benchmaxx」(刷榜),随之招致批评。后来行业似乎通过「不再做专门的 evals」——转而直接用训练数据样本充当评测——「解决」了刷榜问题。

他认为这种做法虽然确实无法被刷榜,但偏离了评测的本意:对评测开发者而言,训练集与评测集重叠本不该成为问题,而为了规避它「我们放弃了很多东西」。这是对当前 eval 设计思路(用真实数据样本而非精心设计的评测集)的一个圈内人批评视角。