OC-GRPO 论文:用特权引导解决难题零奖励学习悬崖
ceciletamura · x · 2026-11-05
arXiv 论文提出 Off-Context GRPO(OC-GRPO),解决 RLVR 在困难问题上零学习信号的问题:当模型无法生成任何正确解时,标准 GRPO 得不到任何奖励信号。
- 核心思路:训练时在 prompt 中加入特权引导(如解法前缀),让模型能产生非零奖励的 rollout,即「off-context」rollout
- 通过重要性修正的目标函数,把更新拉回原始无引导目标,避免引导造成的训练失配
- 结果:在标准数学推理基准上平均绝对提升 3.8%(相对提升 13.7%),额外开销可忽略
所属事件:Meta AI 提出 OC-GRPO，破解强化学习零奖励困境(2 条相关)→
「研究」频道最新
- USC 推出 WACL:端执行器被占用时,机械臂学会用整条手臂干活 — ebiyik_ · 2026-11-05
- 数学家之子与 AI 协作首次证明 E.P. Stein 数渐近公式 — arampell · 2026-11-05
- GPT-6 改权重争议软证据:仅靠三四道玩具题撑结论 — maier_ak · 2026-11-05
- 长文核查 GPT-6「权重空间编程」:哪些是实测,哪些是轶事 — maier_ak · 2026-11-05
- ExMR 开源:单目视频捕捉全身 3D 动作,可导出至机器人 — camenduru · 2026-11-05
- VA-TDM 用速度对抗蒸馏统一框架，刷新少步扩散生成 SOTA — Yihong Luo · 2026-11-05