Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
Ilgee Hong, Changlong Yu, Zhenghao Xu, Xin Liu, Yuwei Zhang, Qin Lu, Bing Yin, Tuo Zhao
cs.CL, cs.LG
2026-09-30
把偏好数据自带的标注理由当自蒸馏老师，再用熵位移掩码丢掉最高位移的 70% 位置，训出的 LLM judge 主观题超 Dr. GRPO 2~9 个点。
训 LLM judge 的主流配方是 outcome-supervised RL:奖励只有「判决是否等于金标签」一个 0/1 标量，摊给 rollout 里每个 token。数学、代码这类客观题没问题，标准就是正确性，RL 把执行磨尖即可。主观题是另一回事：判决取决于 judge 调用哪些评价标准、怎么加权，推理再严谨、标准选错照样判错。何况 RL 已知会持续压低 policy 熵，judge 探索的标准池越训越窄。
偏好数据里其实躺着一份现成信号：标注员打标签时顺手写的一两句理由，点名了这条偏好取决于什么。outcome-only 的目标函数把它整个扔掉了。
核心是 Self-Distillation(自蒸馏)：同一个模型演两个角色。学生只看 prompt;老师多看一句标注理由，即 privileged context,学生训练和部署时都拿不到。训练时对学生 on-policy rollout 的每个位置算 reverse KL,把老师的全词表分布逐位置传过去，「选哪条标准」的 token 第一次拿到独立于判决对错的监督。
但不是每个位置都值得学。定义 per-position entropy shift:学生在位置 t 的下一 token 熵减去老师的。大正位移叫 context sharpening,老师把概率集中到某一个对齐理由的标准表述，比如理由里的「correctly includes」让老师把 0.97 的概率压给 Correctness;大负位移叫 context spreading,老师把概率摊回多个语义等价的备选，比如学生锁死 Originality 时，「factually verifiable」让老师重新摊开 Correctness、Fidelity 等选项。作者的解读：前者在逼学生背住某个表述，后者在保住备选、养语义理解。
测量撑住这个切分：按位移把每条 rollout 分成 top-30%/中 40%/bottom-30%,两端的 per-position KL 是中段的 2028 倍；标准选择 span 只占 16.7% 的 token 却扛了 44.4% 的 KL 质量，标准名头名词位置占 0.4% 的 token、11.1% 的 KL,94.8% 落在两端尾巴里。
方法一行说完：每条生成内部按位移排序，mask 掉 top ρ 比例，只留低位移的 1−ρ。ρ=0.7 丢七成留三成，ρ=0 退回 naive SD。丢掉的恰是老师被理由催得最自信的位置。
训练数据是清洗过的 HelpSteer3-Preference,清洗发现上游毛病不小：过滤后约 35% 是字节级重复行，验证集约 1553 条里 918 条与训练集完全相同，不去重就是 train/val 泄漏。评测用 RM-Bench 和 RewardBench v2,对训练数据全是 OOD。30B(Qwen3-30B-A3B-Instruct)关键数字：
| 方法 | RM-Bench Chat | RM-Bench Math | RBv2 Factuality | RBv2 Focus | RBv2 Math | 总平均 |
| Dr. GRPO | 74.07 | 95.59 | 71.79 | 80.00 | 87.43 | 80.31 |
| Naive SD | 76.74 | 94.45 | 78.53 | 86.26 | 81.42 | 80.17 |
| SD+mask | 80.53 | 95.63 | 79.16 | 85.66 | 84.15 | 82.50 |
主观题(Chat、Factuality、Focus)上 SD 系全面领先 29 个点；客观题方向反转，RBv2 Math 上 Dr. GRPO 的 87.43 反超 3.3 个点。4B 规模同样成立，总平均 76.14→79.04,超过 Think-RM-8B(62.70)等 78B 训练基线。82.50 压过 DeepSeek-R1(80.15)、RM-R1-32B(76.85)与 Nemotron-49B(77.15),离 prompting 的 Claude-Sonnet-4(84.50)还差 2 个点。
掩码的两个消融最扎实。ρ 从 0 扫到 0.7,总平均 80.17→80.63→80.68→82.50,测过的范围内越激进越好。同在 ρ=0.7 换选择器：方向翻转 79.23、按 |ΔH| 留两端 79.73、随机 79.55、按学生熵 79.57、按老师熵 78.61,全部落败。增益来自「留低位移」这个方向，不只是少监督几个位置。
下游把 judge 当选择器，在 Arena-Hard-v2 创意写作上跑 best-of-8 锦标赛(GLM-4.5-Air 生成回复，Claude Sonnet 5 评胜率)：SD+mask 选出的回复胜率 0.632,比 Dr. GRPO judge 的 0.556 高 7.6 个点，比 naive SD 高 2.0 个点。
它把 GRPO 训 judge 的结构性缺陷挑明：信用分配全挂在最终判决上，标准选择拿不到信号，而主观题恰好由这一层决定。解法用的是偏好数据免费附赠的理由文本，零新增标注；mask 是一次分位数操作，实现成本接近零，代码开在 horizon-llm/OPSD-GenRM,训 reward model 的团队可以直接抄。定性上是方法改进加一份机制分析，不是范式更替，主观题的收益在客观题上不存在。
作者承认两条：反馈质量决定上限，理由没点到决定性标准时掩码救不了；自蒸馏已知的幻觉与长链推理不稳定没有处理，只训了 instruct 模型，长 CoT judge 留作 future work。
另有几处存疑。「sharpening 是背诵、spreading 是理解」是解释性叙事，直接证据是嵌入余弦相似度的配对差(+0.066 与 +0.037),量级偏小，语义标注也只覆盖 102 条 rollout 里的 158 个位置。下游止步于 best-of-8 选择，没跑完整的 judge-guided GRPO 训练闭环，作者自己也点了这条。ρ 只扫到 0.7,更高没测；数据单靠 HelpSteer3 一个源；换 AI 生成长 rubric 当反馈的对照放在附录 B,正文没有数字。