1668 次运行实证：等算力下稠密过程奖励跑不赢标准 GRPO

CWRU · hf · 2026-11-11

论文《Are Dense Rewards Worth Their Tokens in GRPO?》用等算力协议系统比较稠密过程奖励与标准 GRPO，核心发现：

在标准 GRPO 中每个 token 获得相同信用，稠密过程奖励（如逐打分的 Monte-Carlo 奖励）因此被提出用于给中间步骤信用，但其采样续写成本巨大——仅续写就占全部生成 token 的 91%
引入按生成 token 与训练 GPU 小时双重预算对齐的 matched-compute 协议，在 6 个模型上共 1,668 次运行的预注册实验中，等算力比较逆转了排名
在 Qwen2.5-1.5B 上，Monte-Carlo 奖励单次更新领先标准 GRPO，但等 token 时低 14.3 个百分点、等训练时间低 7.8 个百分点；四种稠密奖励变体均被标准 GRPO 胜过
逐 token 梯度检验虽能给出同样排序，但会高估各方法 1-2 个百分点，与它想检测的增益相当
反而训练预测成功率接近 1/2 的提示带来稳定小幅收益：Qwen3-0.6B +1.7 点、Qwen2.5-1.5B +0.8 点，且在新种子与新题上可复现

「研究」频道最新