前评测开发者系统阐述训练数据与评测数据不能混用

Josh Purtell 于 11 月 2 日连发多条帖子，系统阐述训练数据与评测数据需要两套不同的严谨标准，两者常被混用，导致 benchmark 讨论失焦。他的核心结论是：这不只是工程细节，而是偏差-方差层面的根本取舍，直接决定评测结果能否被解释、模型能力能否被高效定位，值得行业正视。

已确认

• Purtell 认为 benchmark 设计与 RL 训练数据设计存在内在张力，本质是偏差-方差取舍：训练场景中方差是好事、在预期之内，有助于获得干净的策略梯度；评测场景中方差会让分析复杂化，除非样本量极大，而大样本又带来自身的问题。
• 他描述了理想的评测形态：100 个任务中，每个任务的通过率应随模型能力呈 sigmoid/阶跃函数——能力达到某一水平后稳定通过，使 pass@1 成绩随能力提升稳定增长，便于定位模型能力等级。他还讨论 eval 设计的效率：若领域只涉及少数原子技能，可按任务敏感阈值排序，用二分方式快速定位能力；若领域覆盖多种任务、无法按难度排序，基本做法是拆成多个 eval；拆分不可行时，他仍坚持用尽可能少的任务判断模型好坏。
• 他以 reward hacking 为例说明两套标准的冲突：一些正经基准因少数任务存在轻微 reward hack 被斥为「有缺陷」，但按他的经验，reward hacking 在训练中是毁灭性的，在评测中小剂量出现却基本无害。
• 他提出好的评测必然是可被 Goodhart 的：评测本质是对能力分布的一个精心挑选的快照采样，应尽可能快速高效地反映能力。他用人类 IQ 测试类比——词汇测试能反映智力，因为没人会为刷分专门背冷僻单词；但模型训练中一旦目标可被针对性优化，评测就会失效。
• 他区分了两类数据的有效性要求：训练数据必须在训练中所有可能被搜索到的条件/策略下都有效，而评测数据只需对特定训练流程产出的特定模型集合有效（理想情况下模型训练时不知道评测内容）；但做 eval 不能因此偷懒，需要在其他方面下更多功夫。
• 他对讨论中的具体评测集提出质疑：每个领域/数据切分只有约 10 个任务，且任务创建者本身是训练数据的采购方；这些任务即便质量高，在小数据集下也可能呈现「高方差、低偏差」特征，导致结果难以分析。
• 他以 CritPt v1 为例补充：该基准中很大一部分数据直接无效，但在有效子集被刷饱和之前，它仍是一个相当不错的评测集；若把这类数据直接用于 RL 训练，reward hacking 问题会致命。
• 他还给出了个人的极简 AGI 判据：理想的 eval 是单一阈值、单一任务——系统能否仅凭每月一条 prompt，每年为他赚取 100 万美元利润。这一判据延续了他在 m5 中对综合基准的不满：把一堆不同任务混在一个 domain 里不如能拆就拆，至少要求少数几个任务就能说明问题。
• 他感慨行业评测生态的变化：早年有很多专门设计的优秀评测基准，其余 n-1 家实验室会在其上训练、刷榜并因此受到批评；如今这个问题某种意义上被「解决」了——方式是不再做专门评测，转而直接用训练数据样本充当评测，这虽然规避了刷榜，但牺牲了太多。

为什么重要

• 这一讨论点出了当前 AI 评测中一个普遍但常被忽视的问题：训练数据与评测数据的严谨标准被混用，可能让 benchmark 结论失焦、难以解释。
• 小样本、高方差的评测集即使任务本身质量很高，也可能无法可靠区分模型能力差异，这直接关系到评测结果的可信度与 leaderboard 的解读方式。
• 用训练数据样本替代专门评测虽能规避 Goodhart 化，但代价是评测的解释力与定位模型能力等级的效率；他提出的「单一任务、单一阈值」式极简判据，为行业提供了另一种评测思路。

2026-11-02 ~ 2026-11-02 · 17 条相关

• 【源头】评测数据与训练数据混用，benchmark 严谨性被指失焦 — JoshPurtell · 2026-11-02
• Josh Purtell:好的评测任务应是阶跃函数,pass@1 随能力稳定上升 — JoshPurtell · 2026-11-02
• 训练与评测目标冲突:任务设计应要 pass@k 平滑上升而非阶跃 — JoshPurtell · 2026-11-02
• 续评:评测任务设计本质是偏差与方差的取舍 — JoshPurtell · 2026-11-02
• 小样本评测集的质量悖论:高方差任务让结果难以分析 — JoshPurtell · 2026-11-02
• Josh Purtell：每个领域仅 10 个任务，小规模评测集或偏差过高 — JoshPurtell · 2026-11-02
• Reward hacking 摧毁训练，小剂量却无害于评测 — JoshPurtell · 2026-11-02
• CritPt v1 大量数据无效，饱和前仍是好评测 — JoshPurtell · 2026-11-02
• 训练数据与评测数据的有效性标准为何不该一刀切 — JoshPurtell · 2026-11-02
• 为什么人类 IQ 测验能考词汇,AI 训练却会被 Goodhart 化 — JoshPurtell · 2026-11-02
• 【源头】好评测必须可被 Goodhart：评测本质是能力的快照采样 — JoshPurtell · 2026-11-02
• 行业「解决」评测刷榜的办法竟是干脆不做评测了 — JoshPurtell · 2026-11-02
• 前 evals 开发者反思:用训练数据样本当评测,防刷榜却牺牲了太多 — JoshPurtell · 2026-11-02
• 评测设计者反思:好 eval 应只需少量任务即可判断模型水平 — JoshPurtell · 2026-11-02
• 评测任务无法按难度排序?拆成多个 eval 是更优解 — JoshPurtell · 2026-11-02
• 开发者抛AGI判据:每月一条提示词年赚百万美元即算AGI — JoshPurtell · 2026-11-02

另有 1 条近重复转述:JoshPurtell