GRPO 论文：算力对齐后密集奖励反而不如稀疏奖励
burny_tech · x · 2026-11-12
arXiv 论文《Are Dense Rewards Worth Their Tokens in GRPO?》在算力严格对齐（生成 token 数与 GPU 时长均相同）的协议下检验密集过程奖励的价值：
- 密集/过程奖励的 rollout 生成会额外消耗 91% 的 token；算力对齐后，结论反转——Monte-Carlo 奖励在 Qwen2.5-1.5B 上单次更新看似更好，但同等 token 下低 14.3 分、同等训练时长下低 7.8 分，四种密集奖励变体无一胜过标准 GRPO。
- 每更新增益在训练中被高估最多 2 分，实际难以检测。
- 更有效的做法是选预测成功率接近 1/2 的 prompt：在 Qwen3-0.6B 上 +1.7 分、Qwen2.5-1.5B 上 +0.8 分，且在新种子/新问题上五个预注册测试中复现。
- 结论：做 RLVR/GRPO 训练时，与其花钱生成密集中间反馈，不如跑更多稀疏 GRPO 更新或按难度筛选 prompt。
所属事件:等算力实验显示稠密奖励并未优于标准 GRPO(2 条相关)→
「模型」频道最新
- Hassabis 转发暗示 Gemini 4 carbon 表现惊艳，评测结果即将公布 — demishassabis · 2026-11-12
- Google 高管介绍 Gemini 4 Carbon：面向最复杂推理任务的旗舰模型 — goyalshaliniuk · 2026-11-12
- Aside 计算机使用 Agent 在 Scale AI Cua Driver Bench 拿下 SOTA — brandon_galang · 2026-11-12
- 仅 34M 参数的本地 TTS 模型 Inflect v3 发布，Apache 2.0 开源 — b111ue · 2026-11-12
- Simon Willison 复现：笔记本上的 Qwen 3.8 27B 也能直接读懂模型权重 — dl_weekly · 2026-11-12
- KOL 预测：年底 Gemini 将稳坐最强前沿模型，对手估值腰斩 — iruletheworldmo · 2026-11-12