字节 ProRubric:加权求和聚合让 RL 模型得分更高答得更差
ByteDance · hf · 2026-10-14
北邮与字节团队研究 Rubric-based RL(Rubric-RL)中的 reward hacking 问题。发现加权求和聚合是弱点:各判分项可互相补偿,漏掉关键决策的策略能用无人需要的建议把分买回来——在临床咨询任务上,这种策略分数更高但回答更差,rubric 覆盖率上升的同时,留出医生判据上的恰当性反而低于未训练模型。
关键发现:把医学判据按「必须同时成立」分组后,判据一字不改即可挽回约三分之一损失;缩短答案几乎无效。
据此提出 ProRubric:将清单分组为少量协议级维度,一个维度仅当其全部判据成立且失败条款未触发时才计分。分组离线一次性完成,不改优化器。ProRubric 在不损失覆盖率的情况下将恰当性提升 10.8 分,并在两个规模上取得七基准最佳平均分。代码已开源。
「研究」频道最新
- AAAI 2027 NeuroAI 研讨会征稿开启：脑科学与 AI 双向启发 — naturecomputes · 2026-10-14
- BVB 基准:让 agent 用 Blender 重建 288 段真实视频来检验视频理解 — SonglinYang4 · 2026-10-14
- NSF 投 2000 万美元资助复杂系统 AI 研究所,聚焦航空航天 — eigensteve · 2026-10-14
- 投稿量激增下,ICLR 该把录取率砍到 10% 吗? — boknilev · 2026-10-14
- Quanta 深挖:注意力机制真是智能的本质吗 — TMWNN · 2026-10-14
- RL 数据质检全流程:从入库审查到小模型实测再到交付打包 — joecole · 2026-10-14