Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
Tong Zheng, Skylar Zhai, Zhan Cheng, TianMing Sha, Youling Huang, Shuo Zhou, Shaotong Qi, Jingcheng Liang, Xuwei Ding, Pengcheng Xu
cs.LG, cs.CL
2026-10-01
证明奖励的优势能量正比于激活组密度,据此给稀疏奖励按平方根反比加权;格式与长度合规比 GDPO 少用最多 65% 训练步数。
LLM 后训练里,RL 常用来同时压多个行为目标:答案要对、格式要合规、长度要受控、该调工具时得调工具。GRPO 靠同一 prompt 的一组采样回复做组内相对比较估计优势,省掉了 value model。多奖励的麻烦在合成顺序:GRPO 先把各奖励加总再归一化,不同奖励组合会加出同一个总分,组内比较分不清信号来自哪个维度;GDPO 让每个奖励先各自组内归一化再求和,保住了维度内的相对信息。
但 GDPO 的实验里各目标进度仍不均:工具调用任务中正确性先学会,格式合规慢半拍,GDPO 自己的归因是模型偏爱容易的目标,手动调权重也难扭转这个优先级。这篇把问题推到批级别:逐奖励归一化之后还剩什么不均?奖励权重能不能从机制里推出来,不用反复试?
关键量是 active-group density(激活组密度)。一个奖励只有在 rollout 组内取值有差异时才提供学习信号,全对或全错的组归一化后优势全为零;激活组密度就是「组内有区分」的组占比。推导给出:理想化 GDPO 归一化下,每个激活组贡献的优势能量(advantage energy,一个奖励在整批上的平方优势之和)恰好是 G−1,于是批内总能量 = 组数 × 激活密度 × (G−1),与密度严格成正比。逐奖励归一化只拉平了单个激活组的贡献,稀疏奖励在整个批上的信号仍被压低。
密度差异为什么大?二值奖励、单次成功率 p 时,一个组有区分的概率是 1−p^G−(1−p)^G,太难(几乎全错)和接近饱和(几乎全对)的奖励密度都低,中间态最高。这正好对上训练动态:格式奖励学得最快的阶段对应密度峰,饱和后密度回落、信号变稀。
DARA 的修正:让每个奖励的能量对齐批次内最密的奖励,解出 wk = min(wmax, √(πref/πk)),πref 是最高激活密度。低密度奖励一旦给出有效比较,就按密度平方根反比放大。权重逐批重算,随训练中活跃度变化自适应,policy optimization 目标本身不动。两个变体:DARA-Sym 正负优势同乘 wk,是能量匹配的直接实现;DARA-Asym 只放大正优势,负优势维持 GDPO 原尺度。动机是冲突场景:一个正确但超长的回复会拿到负的长度优势,对称放大会连带加强这种负压力。主方法是 Asym,wmax 取 5。
工具调用(ToolRL 3,920 条训练数据,Qwen2.5-1.5B/3B-Instruct,二值格式奖励加 [-3,3] 正确性奖励,BFCL-v4 评测):
| 指标 | GDPO | DARA |
| 格式奖励达 0.8 所需步数(1.5B) | 19 | 14–15 |
| step 60 平均格式(1.5B) | 90.11%(基线最高) | 96.02–96.06% |
| step 100 平均格式(1.5B) | 97.11% | 97.55–97.90% |
| step 100 多轮格式(1.5B) | 91.40% | 92.77–94.17% |
GRPO 同口径要 34 步才到 0.8。step 60 平均准确率 DARA 为 50.69–50.94%,基线最高 50.50%。3B 上 DARA-Sym 拿最高平均格式 97.22%,准确率 54.15% 与最优的 DVAO(54.22%)持平。加入第三个奖励(<think> 块限 16 词)后,GDPO 平均格式从 97.11% 掉到 94.39%,DARA-Asym 只从 97.90% 滑到 96.93%,新目标没有挤掉旧目标的信号。
数学推理(DeepSeek-R1-1.5B、Qwen3-4B-Instruct、DeepSeek-R1-7B,DeepScaleR 数据,正确性与「长度不超过 4,000 token」两个二值奖励,五个基准宏平均):
| 指标 | GDPO | DARA |
| 99% 长度合规所需步数(R1-7B) | 142 | 50–56 |
| 95% held-out 长度合规步数(R1-7B) | 70 | 50 |
| step 50 超长率(R1-7B,DARA-Sym) | 6.82% | 1.09% |
| step 50 联合得分(R1-7B,DARA-Asym) | 56.48% | 57.83% |
联合得分要求答案既对又不超长。DARA-Asym 在两个 R1 模型上同时拿最高准确率和联合分(R1-7B 准确率 58.31%,GDPO 57.45%)。固定权重消融是关键对照:把长度权重定死为 5,超长率确实更低(3.14% 对 DARA-Asym 的 4.21%),准确率却从 48.03% 掉到 46.84%。提速不是靠把权重调大,动态校准用小得多的准确率代价换来收敛加速。理论还预测固定响应预算下加大 rollout 组规模会提高密度、加速学习,G∈{4,8,16,32} 的实验全部吻合,DARA 在每个 G 下都更早达标。
多奖励权重一直是手调黑盒,DARA 把它变成从 rollout 统计量直接算出的公式,有推导、有封顶、逐批自适应。接入成本低,只改奖励聚合一步,verl 训练栈其余配置全部对齐。对在做格式、长度、安全这类稀疏目标对齐的团队,收益最明显的阶段恰好是目标接近饱和、信号最稀的收尾段;方法与 policy 更新机制(GSPO、DAPO)和任务奖励设计正交,可以叠着用。
这是收敛速度上的改进,不是最终能力的跃迁:step 100 各方法大多收敛,差距明显缩窄。
能量-密度等式在 ε=τ=0、样本标准差除以 G−1 等理想化条件下成立;主方法 DARA-Asym 不在精确能量匹配的覆盖范围内,只有上下界,只放大正优势的设计依据是定性论证。封顶 wmax=5 在训练后期触发(三个模型分别在 step 48、59、62),之后能量比守不住 1,中位数回落到 0.39–0.49,而这正是 DARA 与 GDPO 差距拉得最大的严苛合规段;wmax 本身成了新的手调超参。
收益集中在提速,最终性能多为 competitive:Qwen3-4B-Instruct 上 step 50 准确率最高的是 GRPO(62.14%,DARA-Asym 60.30%);两个变体之间存在 accuracy-compliance 权衡,Sym 压超长率更狠但准确率更低,Asym 反之。实验只覆盖 1.5B–7B、两个任务族、以二值为主的奖励,更大规模、更多奖励维度、连续奖励都没验证。并发工作(DVAO、SAW、SA-MRPO、GD²PO 等)在解同一问题,这里只与其中两个复现基线做了直接对比。