突破强化学习零奖励瓶颈：OC-GRPO 算法提升数学推理
ceciletamura · x · 2026-08-09
针对大模型在处理困难问题时因无法生成正确答案而导致强化学习信号丢失（零奖励）的问题，研究人员提出了 Off-Context GRPO (OC-GRPO) 算法。
- 核心机制：在训练阶段引入包含正确解法前缀等“特权信息”的引导，同时通过重要性校正目标函数，将模型更新方向拉回无引导的原始目标，避免了直接使用引导带来的训练不稳定。
- 实验效果：在标准数学推理基准测试中，该方法相比原版 GRPO 实现了 3.9% 的绝对提升（13.8% 的相对增益），且几乎不增加额外计算成本。
所属事件:OC-GRPO算法突破大模型推理瓶颈(2 条相关)→
「模型」频道最新
- Artificial Analysis 榜单:GLM 5.3 Flash 得 39 分,以更小体积超越 Mistral 4 Large — airesearch12 · 2026-10-16
- 基于 Qwen3-4B 的开源 ASR 模型 Hojo-ASR 取 3.54 平均 WER — rohanpaul_ai · 2026-10-16
- Google 在 Antigravity 中设 Paid Pro 付费墙，Pixel 与订阅用户不满 — Chance-Okra-5920 · 2026-10-16
- GLM 5.3 Flash 现已在 OpenCode 免费开放 — DanielLockyer · 2026-10-16
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- Codex 用户转投 Claude:称 Opus 5.5 体验领先且 App 优化好 2-3 倍 — ItchyResearcher5671 · 2026-10-16