MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
Yuxuan Fan, Jaehong Yoon
cs.AI
2026-10-02
MetaRubric 把准则分改成满足、覆盖、证据支持三者取最小,并按策略错误改写准则和权重。三个骨干上,PubMedQA 比静态评审 GRPO 高 6.0 到 20.4 个百分点。
Rubric-based RL（按条目给部分分的强化学习）把开放题奖励拆到一条条准则上：答中哪条，评审模型给哪条打分，加权后更新策略。默认前提是，高分代表回答里真有这条要的信息或动作。
前提经常不成立。这种失败叫 Vacuous Credit（空分）：内容没出现，分却给了。支架复查的例子里，准则要求先问患者所在地区，模型只说各地指南不同，没给复查频率，也没问地点，评审仍判满足并给满 8 分。
空分会进入训练。Qwen3-8B 在 HealthBench 上做 GRPO，训练奖励上升；留出集改由 GPT-5.5、Gemini 3.5 Flash、DeepSeek-V4-Pro 三人一致才算满足，准则满足度整体下降。删证据更直接：1000 条训练中被判正确的 rollout，GPT-5.5 去掉必需内容后，GPT-4o-mini 仍保留 82.0% 的原判，GPT-5.4-mini 保留 69.8%；只删套话则是 93.1% 和 95.0%。
GRPO 优势按组内相对奖励算。一条空分就可能把优势从负号翻成正号，更新转去鼓励说得稳妥、却没回答问题的回复。
MetaRubric 让内环和外环交替。内环在固定 rubric 下做 GRPO；外环用本阶段回答改权重和措辞。每个原题配一个反事实，只改一个任务事实（如年龄 40 改成 60）。回答只对自己的 rubric 计分，依赖该事实的要求必须跟着变。
每条准则打三个 0 到 1 的分：满足度、覆盖（信息或动作在不在）、证据支持（说法有没有被回答和允许的材料撑住），取最小值。说错一个数字时，覆盖仍可以不低，满足和支持会把分压下去。整段再加两道闸：全局支持上限，免得少数准则掩盖别处的无根据说法；质量因子取相关性、连贯性、简洁性的最小值，压跑题和注水。
辅助 QA 不依赖准则措辞。参考事实做成四选一，不看回答就能答对的题丢掉，题库事先固定。Qwen3-1.7B 只读回答作答。总奖励是 rubric 与 QA 的加权和，系数 1.0 和 0.3。原题和反事实合成一个 GRPO 组。PubMedQA 有 yes/no/maybe 标签，不用辅助题。
阶段末先改组权重。准则按严重等级和反事实对应关系分组，四级为 nice-to-have、should-have、must-have、contraindication，基础权重 4、5、6、8。错误率高于平均的组增加对数权重，步长 0.1。等级顺序不能反，调整不超过 log(6/5)（约 0.18），均值保持为 0，避免一条经常错过的次要项压过必须项。再改措辞：一轮最多一条，锚在最初 rubric 上，只把含糊要求写具体。留出集与参考评审的一致度要提升超过 0.02，并通过语义审查，否则留原文。权重不论改写过不过都进入下一阶段。
任务是 PubMedQA、HealthBench-Hard，以及口腔全景片 MMOral-X 和 MMOral-OPG。骨干是 Qwen3-4B、Qwen3-8B（多模态为同尺寸 Qwen3-VL）和 Gemma-e2b。对照为静态评审 GRPO、DAPO、Dr. GRPO、GSPO。模型打分的测试一律用 GPT-5.5。HealthBench-Hard 的数字是 accuracy-axis 分数，PubMedQA 才是选择题准确率。MMOral-X 是三个难度子集的平均分，MMOral-OPG 是总分。
| 骨干 | PubMedQA | HealthBench-Hard | MMOral-X | MMOral-OPG |
| Qwen3-4B / GRPO | 72.40 | 10.56 | 5.72 | 23.18 |
| Qwen3-4B / MetaRubric | 78.40 | 13.02 | 7.73 | 26.35 |
| Qwen3-8B / GRPO | 70.00 | 7.15 | 7.08 | 27.35 |
| Qwen3-8B / MetaRubric | 76.80 | 10.34 | 9.21 | 30.44 |
| Gemma-e2b / GRPO | 51.60 | 13.07 | 4.74 | 31.28 |
| Gemma-e2b / MetaRubric | 72.00 | 15.68 | 6.03 | 35.10 |
相对静态 GRPO，PubMedQA 提高 6.00、6.80、20.40 个百分点，HealthBench-Hard 提高 2.46 到 3.19，MMOral-X 提高 1.29 到 2.13，MMOral-OPG 提高 3.09 到 3.82。三个骨干未训练的 PubMedQA 是 52.60、44.20、48.00。Qwen 上 GRPO 已抬到 70 上下；Gemma-e2b 的 GRPO 停在 51.60，主要涨幅来自 MetaRubric。
21 组比较里 MetaRubric 占 19 组最高。Dr. GRPO 略高的是 Qwen3-4B 的 HealthBench-Hard（13.28 对 13.02）和 Gemma-e2b 的 MMOral-OPG（35.42 对 35.10）。开放题上辅助 QA 比 GRPO 高 3.23 到 5.68 个百分点。
Qwen3-4B 消融里，冻住描述和权重，HealthBench-Hard 掉 3.17，MMOral-OPG 掉 4.40。去掉证据检查掉 1.22 和 2.59。改写对前者影响更大，改权重对后者更明显。
训完的 rubric 拿去重训，HealthBench-Hard 只从 8.83 到 9.04，MMOral-OPG 从 20.59 到 21.78，完整方法是 13.02 和 26.35，收回增益的 5.0% 和 20.7%。改过描述或对应标签的准则，HealthBench 占 45.2%，PubMedQA 占 29.8%，MMOral-RL 占 60.6%，平均变长 5.5、3.9、5.6 个词。
奖励曲线向上，不能当成准则被满足。GPT-5.4-mini 做训练评审，空分仍贯穿训练。
准则分被覆盖和支持卡住后，空话拿不到该条满分。rubric 可以跟着错改，但锚在初版，一致度要过 0.02，对数权重限制在约 0.18。最终 rubric 重训只收回个位数到两成的增益，写好准则再训一次替代不了交替。评审三项分、反事实题对和审查，是每阶段都要付的成本。
PubMedQA 上相对 GRPO 最多高 20.4 个点；开放对话和口腔影像多在 1 到 4 个点，HealthBench-Hard 绝对分仍大约 10 到 16。奖励更贴着证据走，医疗回答的绝对水平还低。
附录写明：每种配置一个种子，没有跨运行波动；不少相关方法没放训练代码，同设置比不了。
四个榜都在医疗文本或口腔影像里，开放写作、工具调用和通用对话没有测。主表评审是 GPT-5.5，训练和外环是 GPT-5.4-mini。换一家评审家族之后，主表排名还成不成立，论文没有报告。
空分可以翻转优势符号，频率正文没给。删证据的 1000 条都是已判正确的 rollout，高保留率不能代表全部采样。辅助 QA 属于训练目标，涨分不是独立质量证明。反事实是否只改对一个事实，没有单独核验。权重调整被卡在约 0.18，改写和改权重在两个任务上谁更重要并不相同，换领域后有没有同样的分工，还没有数据。