Rubric Rewards from Item Response Theory
Milad Yazdani, Yaser Souri, Xiren Zhou, Pranit Chawla, Dena Shahriari, Subhojit Som, Xia Song
cs.CL
2026-09-29
RRT 把 rubric 的二值判定当 IRT 考题,取后验质量做 GRPO 奖励,四数据集 macro 分超 Vanilla GRPO 1.7 分;判卷预算减半时分数差距不超过 0.1。
RL 用于语言模型,奖励可验证时好办:代码跑测试、数学对答案。医疗建议、长文写作这类任务没有唯一正确答案,通行做法是给每个 prompt 生成一份 rubric(评分细则),让 LLM judge 对每条 rollout 逐条件给二值判定,再按条件分值加权求和成标量奖励喂给 GRPO。
求和这步有两处硬伤:不同判定模式能拿到相同总分,五条等权条件下,过四条易的挂一条最难的,和挂最易的过四条难的,同为 0.8 分,而 GRPO 的优势靠组内减均值算,平局等于判卷钱花了、梯度信号是零;固定分值表达的又是 rubric 作者认为每条该值多少,不是这条判定对当前 rollout 的区分力。成本上还有一层:每个 rollout 要判满全部条件,judge 请求数随条件数线性增长。
RRT(Rubric Response Theory)搬来 IRT(Item Response Theory,项目反应理论),标准化考试背后的测量学框架:每道题有难度与区分度两个参数,考生有能力值,答对概率由三者决定。RRT 把条件当考题、rollout 当考生。
理论上有个干净结论:该模型下,似然分数在所有判定的标量函数中最大化质量的局部信噪比,达到 Fisher 信息上界;只要两条条件参数不同,任何固定分值向量都无法在所有质量水平达到这个上界。
主设置:Qwen3.5-4B 做策略,GPT-5.5(关闭推理)判卷,Medical、Science、RaR Science、RubricBench 四个数据集。
| 对照 | 指标 | 结果 |
| RRT(在线 RPN)vs Vanilla GRPO | 四数据集 macro criterion score | +1.7 分 |
| RRT vs POW3R / DIVA | 同上 | +0.8 分;Table 2 每列 RRT 最高或并列最高 |
| RRT vs Vanilla GRPO | Medical/Science 各难度带 | 8 带中 7 带领先,难与极难带 +2.85.6 分 |
| RRT vs 分值求和奖励 | 组内平局判定对,12 组设置 | 少 2%58% |
| RRT vs 其余判定均值 | 留一条件预测,pooled ROC-AUC | 79.5 对 69.3 |
| 自适应 Fisher,预算 0.5 | macro 分 vs GRPO 全量判卷 | 差 ≤0.1 分;判卷时间省 49.1%49.6%,单步时长省 23.5%28.7% |
跨策略的结果要如实说:Qwen3.5-2B 上 macro 分比 Vanilla GRPO 低 0.2,Llama-3.1-8B-Instruct 上高 0.1,基本打平;HealthBench 与 ResearchQA 的迁移增益 0.10.7 分。附带发现,RRT 训出的策略回复更短,各数据集中位数比分值奖励低 10.6%47.9%。
对后训练团队,收益在三处。奖励分辨率:GRPO 里的平局是白花的判卷费,RRT 把信号捡回来,且增益集中在基础策略难以满足的条件上。判卷成本:论文实测判卷是每个 policy step 里最长的阶段,预算砍半而分数不掉,直接换成训练吞吐。工程面:RPN、EM、条件选择器只在训练期存在,部署的策略零新增参数。
方法层面更耐用的点是视角:POW3R、DIVA 仍在每条条件学一个权重、保持加权和的路线上,RRT 把聚合换成测量问题,有效权重随质量水平变化,由判定数据和条件文本共同决定。
模型假设所有条件是同一质量目标的单调指标(单维性),且给定质量后各判定独立(局部独立)。要求简洁又要求详尽这类显式权衡的 rubric 违反前者。论文自己的诊断:拟合质量能解释 72.8%85.3% 的成对互信息,文本相近的条件之间仍有多余冗余,比 bootstrap 零假设高 3.411.9 个百分点;作者引用了单维 IRT 的已知偏差(Yen, 1984),多维扩展留给后续工作。
还有几处要打折:+1.7 只在 Qwen3.5-4B 上拿到,2B 与 8B 打平;每个条件只有一次训练 run,训练层面的随机方差没有覆盖,置信区间是固定已训策略后按 prompt 组重采样算的;RPN 文本预测难度的秩相关不到一半,收益依赖在线校准的稳定;判卷用 GPT-5.5,判定与共识的分歧仅 1.27%,换更弱更噪的 judge 这套推断还稳不稳,论文没测。