等算力实验显示稠密奖励并未优于标准 GRPO

arXiv 论文《Are Dense Rewards Worth Their Tokens in GRPO?》在算力严格对齐（生成 token 数与 GPU 时长均相同）的协议下，通过 1668 次运行系统比较了稠密过程奖励与标准 GRPO。核心发现是：在等算力条件下，稠密过程奖励反而跑不赢标准 GRPO 的稀疏奖励，质疑了稠密奖励在 GRPO 训练中的实际价值。

2026-11-11 ~ 2026-11-12 · 2 条相关

• 1668 次运行实证：等算力下稠密过程奖励跑不赢标准 GRPO — CWRU · 2026-11-11
• GRPO 论文：算力对齐后密集奖励反而不如稀疏奖励 — burny_tech · 2026-11-12