Meta AI 提出 OC-GRPO，Qwen2.5-7B-Instruct 推理提升 13.8%
bronzeagepapi · x · 2026-07-23
这篇 Meta AI 论文提出了 Off-Context GRPO（OC-GRPO），目标是解决 RLVR 在困难问题上“无奖励信号、学不动”的问题。
核心思路
- 训练时允许使用“特权信息”引导 rollout，比如解题前缀或 hint；
- 但更新目标仍然回到原始的、不带 hint 的问题上；
- 为此作者引入重要性修正，把 guided rollout 的优势重新加权，避免训练目标与部署目标不一致。
论文结论
- 论文把这个修正解释为一种“行为感知”的 credit assignment；
- 重要性估计的方差只依赖 guidance 文本长度，而不是整条 rollout 长度；
- 如果没有这种修正，PrefixRL、BREAD 这类 guided baseline 在小模型上甚至可能不如 vanilla GRPO；
- 在 Qwen2.5-7B-Instruct 上，作者报告在 AIME、Gaokao、OmniMath 等数学推理基准上平均取得 3.9% 绝对提升、13.8% 相对提升。
结论
这项工作强调：带 hint 的强化学习训练要想有效，关键是更新方向不能偏离无 hint 的原始目标。
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27