前评测开发者连发帖：训练数据与评测数据该用两套标准

Josh Purtell 于 11 月 2 日连发多条帖子，围绕评测集设计提出方法论质疑，核心观点是：为 RL 训练准备的数据与为模型评测准备的数据需要两套不同的严谨标准，两者常被混用，导致 benchmark 讨论失焦。他同时反思了行业评测生态从「专门设计评测、随后被刷榜」到「干脆不再做评测」的转变。

已确认

• Purtell 认为 benchmark 设计与 RL 训练数据设计存在内在张力，本质是偏差-方差取舍：训练场景中方差是好事、是预期内的，有助于获得干净的策略梯度；评测场景中方差会让分析复杂化，除非样本量极大，而大样本又带来自身的问题。
• 他描述了理想的评测形态：100 个任务中，每个任务的通过率应随模型能力呈 sigmoid/阶跃函数——能力达到某一水平后稳定通过，使 pass@1 成绩随能力提升稳定增长，便于定位模型能力等级。他还补充了 eval 设计的效率问题：新模型发布后需要跑多少任务才能判断好坏？若领域只涉及少数原子技能，可按任务敏感的阈值排序，用二分方式快速定位能力；若领域覆盖多种任务、难以按难度排序，则需要另一套策略。
• 他以 reward hacking 为例说明两套标准的冲突：一些正经基准因少数任务存在轻微 reward hack 被斥为「有缺陷」，但按他的经验，reward hacking 在训练中是毁灭性的，在评测中小剂量出现却基本无害。
• 他提出好的评测必然是可被 Goodhart 的：评测本质是对能力分布的一个精心挑选的快照采样，应当尽可能快速高效地反映能力。他用人类 IQ 测试类比——词汇测试能反映智力，因为没人会为刷分专门背冷僻单词；但模型训练中一旦目标可被针对性优化，评测就会失效。
• 他区分了两类数据的有效性要求：训练数据必须在训练中所有可能被搜索到的条件/策略下都有效，而评测数据只需对特定训练流程产出的特定模型集合有效（理想情况下模型训练时不知道评测内容）；但做 eval 不能因此偷懒，需要在其他方面下更多功夫。
• 他对讨论中的具体评测集提出质疑：每个领域/数据切分只有约 10 个任务，且任务创建者本身是训练数据的采购方；这些任务即便质量高，在小数据集下也可能呈现「高方差、低偏差」特征，导致评测结果难以分析。
• 他以 CritPt v1 为例补充：该基准中很大一部分数据直接无效，但在有效子集被刷饱和之前，它仍是一个相当不错的评测集；若把这类数据直接用于 RL 训练，reward hacking 问题会致命。
• 他还感慨行业评测生态的变化：早年有很多专门设计的优秀评测基准，其余 n-1 家实验室会在其上训练、刷榜并因此受到批评；如今这个问题某种意义上被「解决」了——方式是不再做专门评测，转而直接用训练数据样本充当评测，这虽然规避了刷榜，但牺牲了太多。

为什么重要

• 这一讨论点出了当前 AI 评测中一个普遍但常被忽视的问题：训练数据与评测数据的严谨标准被混用，可能让 benchmark 结论失焦、难以解释。
• 小样本、高方差的评测集即使任务本身质量很高，也可能无法可靠区分模型能力差异，这直接关系到评测结果的可信度与 leaderboard 的解读方式。
• 用训练数据样本替代专门评测的做法虽能规避 Goodhart 化，但代价是评测的解释力与定位模型能力等级的效率，这一取舍值得行业正视。

2026-11-02 ~ 2026-11-02 · 14 条相关

• 【源头】评测数据与训练数据混用，benchmark 严谨性被指失焦 — JoshPurtell · 2026-11-02
• Josh Purtell:好的评测任务应是阶跃函数,pass@1 随能力稳定上升 — JoshPurtell · 2026-11-02
• 【源头】训练与评测目标冲突:任务设计应要 pass@k 平滑上升而非阶跃 — JoshPurtell · 2026-11-02
• 续评:评测任务设计本质是偏差与方差的取舍 — JoshPurtell · 2026-11-02
• 小样本评测集的质量悖论:高方差任务让结果难以分析 — JoshPurtell · 2026-11-02
• Josh Purtell：每个领域仅 10 个任务，小规模评测集或偏差过高 — JoshPurtell · 2026-11-02
• Reward hacking 摧毁训练，小剂量却无害于评测 — JoshPurtell · 2026-11-02
• CritPt v1 大量数据无效，饱和前仍是好评测 — JoshPurtell · 2026-11-02
• 训练数据与评测数据的有效性标准为何不该一刀切 — JoshPurtell · 2026-11-02
• 为什么人类 IQ 测验能考词汇,AI 训练却会被 Goodhart 化 — JoshPurtell · 2026-11-02
• 好评测必须可被 Goodhart：评测本质是能力的快照采样 — JoshPurtell · 2026-11-02
• 【源头】行业「解决」评测刷榜的办法竟是干脆不做评测了 — JoshPurtell · 2026-11-02
• 前 evals 开发者反思:用训练数据样本当评测,防刷榜却牺牲了太多 — JoshPurtell · 2026-11-02
• 评测设计者反思:好 eval 应只需少量任务即可判断模型水平 — JoshPurtell · 2026-11-02