ReMaRk 方法修正 GRPO 奖励噪声,LLM 推荐训练步数省一半以上
_reachsumit · x · 2026-10-14
arXiv 论文《Many Right Answers, One Training Example》指出,当前最先进的 Rank-GRPO 在训练 LLM 推荐系统时,每个训练样本只选一条 Reddit 回复作为奖励参照,导致其优势(advantage)的 85% 方差来自「抽中了哪条回复」而非列表质量本身。
作者提出 ReMaRk 方法:让生成的推荐列表一次性对全部回复标题的并集打分,并对每个请求等权重采样,从而降低 RL 训练成本。
- 在 7 个骨干模型和 3 个数据集上,ReMaRk 只需 Rank-GRPO 25%–53% 的步数即可达到 2000 步的验证召回水平
- 训练至都不再提升时,ReMaRk 从不显著落后,7 组对比中有 4 组以更少 GPU 时数达到 Rank-GRPO 最佳水平
- 同样的联合奖励在 ProtoQA(每题约 100 人作答)上也有效,提示一个简单规则:多个人类正确答案存在时,应联合奖励
「研究」频道最新
- 三年打磨后 PyVBBC 1.5 发布，贝叶斯模型推断工具大幅升级 — twiecki · 2026-10-14
- ServiceNow 与麦吉尔发布 AgentHorizon：1373 项任务考 AI 裁判 — rohanpaul_ai · 2026-10-14
- AgentHorizon 基准：AI 评委审长程任务仍漏掉 20% 细微错误 — rohanpaul_ai · 2026-10-14
- 剑桥教授斯德哥尔摩癌症大会演讲:AI 改写肿瘤诊疗三方向 — MihaelaVDS · 2026-10-14
- Falcon 团队工程师发问：单步决策用 RL 优于 SFT 吗 — antoine_chaffin · 2026-10-14
- 用 Visual SLAM 做 match moving：从视频还原相机位姿合成 CG — rsasaki0109 · 2026-10-14