A Cheap Verifier is Good Enough: LLM Post-training is Robust to Erroneous Rewards
Andreas Plesner, Curtis Northcutt, Francisco Guzmán, Anish Athalye
cs.LG, cs.AI, cs.CL
2026-09-27
用逾11k H100小时在医学、法律、金融rubric任务上后训练Qwen3：Gemma 4 26B平均只差最优验证器1分、打分费省98.8%，最便宜合格项平均差3分，HealthBench-all会掉6.2分。
把强化学习后训练从数学、代码扩到医学、法律、金融之后，奖励不再是单元测试，改由另一个 LLM 按 rubric 逐条打勾。正确性、口吻、安全被拆成带正负权重的准则，合成一个标量。默认假设很顺：裁判越准，策略越好。论文用改作业的助教打比方：改错 10% 的助教，理应比改错 30% 的教出更好的学生。
半可验证任务没有标准答案，「准」只能拿更贵的前沿模型当黄金验证器去对标签。Handshake AI 与 ETH Zurich 投入约 11.3k H100 GPU-hours，问两件事：验证器跟黄金裁判的一致性能不能排出最好的训练裁判；贵裁判是否真能打出更好的策略。
训练用 GRPO：同一条 prompt 采 8 条回复，按组内标准差标准化优势，batch 120 条 prompt，学习率恒定 5×10^{-6}，没有有效 KL 惩罚。被训模型是 Qwen3 1.7B、4B、8B，PRBench 只用 8B。HealthBench 分数是加权判定除以正权重总和，全中正准则、一条负准则都不触发时为 1。
验证器分三层：不可得的 oracle；黄金验证器 Claude Opus 4.6、Gemini 3.1 Pro、GPT-5.5，一次判一条、thinking=medium；训练时验证器一次最多三条、thinking=low。在 HealthBench hard 上筛了 52 个候选，与 Opus 准确率从 50.9% 到 95.5%，12 个进入完整后训练，含 Gemma 4、GPT oss、Grok 4.20、Qwen3 自裁判和 LFM2 24B。
一致性在固定的 20 或 40 道题切片上算 accuracy、precision、recall、F1，三个黄金裁判分别对完再平均。策略评估用更大且不相交的集合：HealthBench 100 道 hard 加 40 道 non-hard，PRBench 每域约 53–55 道。事后回看两个便宜选择：准确率不低于 0.80 里最便宜的（cost-reducing，常落到 GPT oss 20B），以及固定用 Gemma 4 26B（balanced）。后者看过训练分数，不是不 sweep 就能套的自动规则。
一致性有信息量，但排不出冠军。HealthBench-all 上 Qwen3 8B 用 GPT oss 20B 训到 0.37，用 Grok 4.20 训到 0.46，尽管前者 F1 更高；开源 Gemma 4 26B 拿到 0.45。HealthBench-hard 上 Gemma 4 31B（F1=0.83）和 26B（F1=0.76）都是 0.34。弱裁判会把学员带崩：LFM2 24B 的 F1=0.54，8B 仍高于未训练基线，1.7B 掉到基线以下，回复长度从第 9 步的 808 token 塌到第 49 步约 1 token。Qwen3 8B 自裁判 F1 约 0.76，hard 分 0.08，低于未训练的 0.16。
| 训练验证器 | HealthBench-all 8B | F1（all） |
| Grok 4.20 | 0.46 | 0.71 |
| Gemma 4 26B | 0.45 | 0.74 |
| GPT oss 20B | 0.37 | 0.81 |
| LFM2 24B | 0.34 | 0.53 |
| Qwen3 8B 自裁判 | 0.11 | 0.74 |
| 未训练基线 | 0.33 | 无 |
PRBench 上分数挤在几分之内。Finance-all 归一化分：Gemma 4 31B 为 0.46，26B 与多数候选为 0.45，基线 0.23；GPT oss 120B 为 0.38，LFM2 为 0.34。Legal-all：Gemini 3 flash 0.43，Gemma 系与 GPT oss 20B 约 0.41–0.42，基线 0.30。
18 个评估格（3 数据集 × 2 个 split × 3 个黄金裁判）平均下来，Gemma 4 26B 相对格内最优训练验证器分差 +0.010，吃到 95% 可获得 uplift，打分费相对黄金协议降 98.8%；准确率门槛那档分差 +0.027，uplift 82%，降 99.7%。平均里藏着单点大损失：HealthBench-all 上便宜选择差 6.2 分，只吃到 46% uplift。论文写明验证器不能互相替换。
打分账单差在单价。HealthBench 探针上 Claude Opus 4.6 每 1000 题 $133.20，Gemma 4 26B $0.45，GPT oss 20B $0.08。黄金协议每题 11.6 次调用，训练协议 4.3 次。Opus 的 token 量约是 Gemma 26B 的 3.9 倍，美元约 296 倍；同样改成 batch=3、thinking=low 后 token 比只剩 1.44 倍。自托管 Gemma 4 26B 判一条 HealthBench rollout 约 0.51 H100-秒，一次 100-step、约 9.6 万条 rollout 大约 14 H100-hours。这些是打分 API 成本，不是总训练账单。
已经在用 rubric 做 RL 的团队，可以把「裁判必须上最强模型」改成一条可检验的成本曲线。候选池里有 Grok 4.20，开源 Gemma 4 26B 仍然经常贴着最优。筛选名单里准确率挤在 78%–87% 的一大片，单看 F1 买不到训练名次。
这是观察性对照，不是新算法。两个便宜选择都是事后挑的：balanced 直接看了训练分数才钉死 Gemma 4 26B。新任务若不许先 sweep，这个 1 分缺口复用不上。HealthBench-all 上把成本压到极致会吐回 6.2 分。弱裁判和自裁判会塌，「够便宜就行」不成立。
学员只有 Qwen3、最大 8B，算法只有一种无 KL 的 GRPO，弱验证器没有单独调参。API 不稳让部分 run 不完整，Grok 4.20 覆盖不齐。所谓重复不是受控随机种子，分差分不开训练噪声和验证器效应。黄金裁判仍是 LLM：两人抽查 Opus 的 50 条 HealthBench 准则没看出错，三人两两一致率 84.4%–90.8%，全体一致 81.5%，样本撑不起「黄金无误」。一致性在固定回复上算，没有跟着策略输出一起变，也没有专门测 reward hacking。PRBench 上回复从约 1.9k–2.4k token 涨到接近 5000 上限，35%–96% 被截断，endpoint 分数带着这条长度约束。
测量本身错了一层。F1 是未加权的准则级一致，GRPO 用的是组内标准化后的加权优势。两条回复相对谁该赢，F1 没量到。