一张漫画讲透 GRPO 硬伤:无关 token 也拿同样 advantage
heghbalz · x · 2026-11-09
转发帖配了一张四格漫画，直观解释 outcome-only GRPO 的信用分配问题：
- 漫画示例中，模型解一道方程时先做数学推理，然后唱了一段《Never Gonna Give You Up》，又跑题聊了 2000 token 的图表爱好，最后给出正确答案 \boxed{5}。
- 因为答案正确，整个 rollout 获得 reward 1，advantage A 为正。
- 关键问题：GRPO 把同一个正 advantage 应用到 rollout 里的每一个 token——包括唱歌和跑题的部分，与答案毫无关系的 token 也被一起强化。
这正是 outcome-only 奖励下 GRPO 的核心缺陷：没有逐步（per-step）信用分配，无关内容会随正确答案一同被奖励。
「研究」频道最新
- 数学 arXiv 周提交量大涨：人多+人均更多，并非少数卷王驱动 — littmath · 2026-11-09
- Meta 高管暗示入局 AI4Science，前沿实验室竞赛扩围 — kimmonismus · 2026-11-09
- 每日3克肌酸四周即可提升女性认知功能,年长女性改善更明显 — 2C_ornot2C · 2026-11-09
- Brynjolfsson 等变革性 AI 经济学研究议程登 CACM — erikbryn · 2026-11-09
- 研究者质疑前沿模型能力加速证据：算力转向 RL 或是混杂变量 — DavidSKrueger · 2026-11-09
- 斯坦福系科普：神经网络输出层与激活函数入门 — HarperSCarroll · 2026-11-09