微软提出 Rubric Response Theory,用项目响应理论重构 RL rubric 奖励
microsoft · hf · 2026-10-02
微软发布新方法 Rubric Response Theory (RRT),解决 rubric-based RL 奖励聚合的问题:传统把各判据得分直接相加,会让不同判定模式拿到相同奖励,且判据越多 judge 调用越多。
- RRT 用两参数项目响应模型把判定模式视为关于标量质量的证据,似然得分最大化信噪比。
- Response Parameter Network (RPN) 从 prompt 与判据文本预测判据难度与区分度,训练中用在线 EM 随策略分布更新。
- 以 Qwen3.5-4B 为策略,RRT 在 Medical、Science、Rubrics as Rewards Science、RubricBench 上 macro 判据分比 GRPO 高 1.7 分;难/极难判据上高出 2.85.6 分。
- 自适应 Fisher 判据筛选加冻结 RPN,在判据预算减半的情况下仍与全量判定的 GRPO 差距保持在 0.1 分内,可显著降低 judge 请求。
「研究」频道最新
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16
- NeurIPS 论文:10 张图蒸馏 ImageNet 一个类别的全部知识 — giannis_daras · 2026-11-16
- 为什么方差估计要除以 n-1:两分钟讲透贝塞尔校正 — JFPuget · 2026-11-16
- 商业场景中 Type 2 错误代价常高于 Type 1 — mdancho84 · 2026-11-16
- 风险管理视角:漏检真实风险可致重大损失乃至倒闭 — mdancho84 · 2026-11-16
- Type 2 错误定义:对真孕妇报阴性即漏检真实效应 — mdancho84 · 2026-11-16