UC Berkeley 提出多裁判集成 RaRE,让 LLM 评分更稳地驱动 RL 训练
YutongBAI1002 · x · 2026-10-29
UC Berkeley 团队（Michael Tian-Yue Liu、Anne Harrington、Trevor Darrell、Yutong Bai）发布论文 Judging the Judges: Confidence and Disagreement in Rubrics as Rewards。
- 背景：Rubrics as Rewards（RaR）用 LLM 裁判按结构化 rubric 打分，把强化学习扩展到难以验证的开放式任务；此前工作多聚焦改进 rubric 或单个裁判，很少研究「该用哪些裁判、怎么组合」。
- 发现：仅更换裁判身份，在 RaR-Medicine 与 RaR-Science 上训练 Qwen3-4B-Base 时分数就有显著差异（覆盖 5 个前沿与开源裁判）。
- 方法 RaRE（Rubrics as Rewards with Ensembles）：裁判按 1–5 Likert 打分，读取 top-5 logprobs 得到期望评分与置信度；①软 Likert 奖励按逆方差置信度加权各裁判；②「分歧即丢弃」掩码把高分歧 rollout 从 GRPO 更新中剔除。
- 结果：朴素平均多裁判成绩不如最佳单裁判，而 RaRE 在 HealthBench 和 GPQA Diamond 上超过所有单裁判变体，逐主题分析显示它继承了各组成裁判的互补优势，确立了「裁判集成」作为改进 RaR 的有效维度。
「研究」频道最新
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- Byte H-Net 代码任务显示 2.24 倍计算效率，OpenAI 研究员提醒规模 caveat — willdepue · 2026-10-29
- 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29
- 新工作论文：AI 可依据预注册文件预测经济学处理效应 — birchlse · 2026-10-29
- kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29
- ProgramLab 发布：1261 个真实程序作智能体训练场，可单练也可组队 — jyangballin · 2026-10-29