Meta AI 提出 OC-GRPO，破解强化学习零奖励困境

Meta AI 与哥伦比亚大学研究人员发布预印本论文 Off-Context GRPO（OC-GRPO），针对 RLVR 训练中的关键瓶颈提出方案：当模型在困难问题上无法生成任何正确解时，标准 GRPO 得不到有效奖励信号，形成“学习悬崖”。OC-GRPO 引入特权信息进行引导，让模型在难题上也能获得学习信号，从而改善 GRPO 的训练效果。

2026-11-05 ~ 2026-11-05 · 2 条相关