Meta AI 提出 Off-Context GRPO：用特权信息攻克 GRPO 学习悬崖
ceciletamura · x · 2026-11-05
Meta AI 与哥伦比亚大学的 Priyank Agrawal 等人发布预印本论文 Off-Context GRPO（OC-GRPO），解决 RLVR 训练中的一个关键瓶颈。
核心问题：学习悬崖。 GRPO 依赖组内奖励方差产生梯度信号；在足够难的问题上，所有 rollout 都失败，奖励全为零，优势为零，梯度信号严格为零——再训练多久也学不到东西。作者用 Qwen2.5-7B-Instruct 在 MATH 3-5 级别上 64 次采样全部失败的 595 道题构造了这一极端场景。
方法。 常规做法是把参考解答前缀等「特权信息」注入训练 prompt，让正确解变得可达，但这些 rollout 来自推理时从未见过的分布。OC-GRPO 保留受引导的 rollout，并用重要性比率对其优势重新加权：因引导才成功的行为获得更少信用，即便有引导仍然失败的行为受到更强惩罚，从而保持目标函数诚实。
配套还有一个与 Cecile Tamura 对谈的研究论坛活动。
所属事件:Meta AI 提出 OC-GRPO，破解强化学习零奖励困境(2 条相关)→
「研究」频道最新
- USC 推出 WACL:端执行器被占用时,机械臂学会用整条手臂干活 — ebiyik_ · 2026-11-05
- 数学家之子与 AI 协作首次证明 E.P. Stein 数渐近公式 — arampell · 2026-11-05
- GPT-6 改权重争议软证据:仅靠三四道玩具题撑结论 — maier_ak · 2026-11-05
- 长文核查 GPT-6「权重空间编程」:哪些是实测,哪些是轶事 — maier_ak · 2026-11-05
- ExMR 开源:单目视频捕捉全身 3D 动作,可导出至机器人 — camenduru · 2026-11-05
- VA-TDM 用速度对抗蒸馏统一框架，刷新少步扩散生成 SOTA — Yihong Luo · 2026-11-05