MaxRL 一行改动实现最大似然 RL,测试时扩展效率较 GRPO 提升 20 倍
burny_tech · x · 2026-10-25
- ICML 2026 oral 论文《Maximum Likelihood Reinforcement Learning》(arXiv:2602.02710)指出：当反馈是终局二值时，标准 RLVR(期望奖励最大化)其实只是「正确解生成似然」这个更根本目标的一阶近似，对模型很少能解对的题学习信号很弱。
- 作者提出 MaxRL,把最大似然梯度表达为 pass@k 目标的加权组合，可用一行改动实现：按成功轨迹数(而非总采样数)归一化成功轨迹的梯度。该估计量对截断似然目标无偏，随采样算力增加趋近最大似然优化。
- 实验上，MaxRL 在所有测试模型和任务上帕累托优于现有方法，Qwen3 数学推理实验中提升解覆盖率并保持 pass@1 竞争力，测试时扩展效率相对 GRPO 最高提升 20 倍，且随数据和算力增长扩展性更好。
「研究」频道最新
- Cell 子刊发表综述：梳理 AI 在单细胞基因组学的新前沿 — anshulkundaje · 2026-10-25
- 哈佛 Zitnik 团队发布 CONCERT：预测基因扰动效应在组织中的空间传播 — marinkazitnik · 2026-10-25
- Sander Dieleman 长文详解 Flow Maps:预测扩散积分,大幅加速采样 — sedielem · 2026-10-25
- 评论：RL 科学闭环太像教科书，缺了牛顿式冒险精神 — generativist · 2026-10-25
- 斯坦福 Finn 团队提出生成式价值分类器 GVC，用动作似然反推 Q 函数 — chelseabfinn · 2026-10-25
- 经济学家复盘：预测 AI 仅增 1pp 被嘲，如今瓶颈论被证实 — Afinetheorem · 2026-10-25