MiMo-V2论文:让agent自己挑轨迹打正奖励的RL新玩法

Sauers_ · x · 2026-10-17

MiMo-V2 论文展示了代码 agent RL 的分组智能评级机制：(a) 分组奖励合成（GRS）——离线从 rollouts 构建任务专属 rubric（解法与行为两类），在线用 rubric grader 给单条轨迹打分，最终奖励为测试结果 × 解法分 × 行为分；(b) 分组优势再分配（GAR）——在线比较多条通过轨迹，由 groupwise grader 排序质量、识别确认的 reward hack（奖励清零），并把序列级正优势从低质量通过解向高质量通过解再分配。核心思想是让 agent 参与判断哪些轨迹值得给予正向 RL advantage，抑制 reward hacking。