ReVeR：任务本位 Rubric + 工具增强评审的点式奖励模型

OpenRubrics · hf · 2026-10-14

现有 Rubric 奖励模型常从候选回答中提取标准，带来响应诱导偏差，且评审难以处理机械类约束。ReVeR 提出点式 rubric RM：仅依据指令推理出硬规则与分级原则，并通过工具增强的评审独立打分。两部分均通过「标签盲蒸馏」训练——偏好标签只用于过滤教师输出——产出大规模 rubric 推理与评审轨迹数据集 ReVeR-Traces。实验显示 ReVeR 在平均偏好准确率（尤其指令遵循）、测试时扩展与下游策略优化上超过成对 rubric RM。研究还发现：生成器 RL 提升偏好准确率却降低 rubric 保真度，且更高偏好准确率不一定带来更好的下游策略，三者是不同性质。