GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models
Peizheng Guo, Jianqi Zhang, Xingyu Zhang, Yun Fan, Jiahuan Zhou, Changwen Zheng, Wenwen Qiang
cs.LG
2026-08-18
中科院软研所等提出 GUPO：把 GRPO mini-batch 里每条 query 的组梯度当成随机变量，用 Dirichlet 不确定性给不可靠梯度降权。三个 1.5B/7B 基座上六项数学均分比 GRPO 高 1.8 到 3.0 点。
GRPO 现在是推理模型后训练的默认配方：每条 query 采样一组回答，组内相对优势加权，再把一个 mini-batch 里各条 query 的组梯度直接平均。中科院软件所、国科大、北大王选所这条线发现，这些组梯度经常指向相反方向。
他们抽了若干 mini-batch，算组梯度两两余弦。563 对里有 262 对余弦为负，占 46.5%。冲突高的 batch，验证集 ΔNLL 中位数更低，还出现负更新。问题于是变成：冲突发生时，怎样聚合成一个更靠得住的更新方向？
标准 GRPO 把每条组梯度当成确定性向量等权平均，不管这条信号有多散。GUPO 的回答是先估计每条组梯度的不确定性，再按可靠性重新加权。
直接给整个 LLM 建后验做不到。GUPO 只对策略最后一层可训练参数 Φ 做贝叶斯近似。用对角经验 Fisher 加 δI 代替 Hessian，得到以当前参数为中心的对角高斯。再从中 Monte Carlo 抽 M 组 Φ，其余层不动，重算每条 query 的组梯度，得到均值和逐维方差。
方差取倒数得到精度，再升到 s 次方变成证据。按主观逻辑和 evidential deep learning 的 Dirichlet 写法，第 d 维信念是证据除以总强度，组级不确定性 ub = K / Sb，K 是梯度维数。不确定性低的组权重大，高的组权重小。最终权重是 (1-η)/B 的均匀项加上 η 倍的不确定性权重，η 取 0.1，所以它是在 GRPO 等权平均上做轻度校正，不是推倒重来。
敏感度扫描里 s=0.5、η=0.1 最好。学习率 1e-6，weight decay 0.01，全局 batch 256，跑在 H100 集群。基座三个：DeepScaleR-1.5B-Preview、DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B。对照包括 GRPO、Length Penalty、ReST-MCTS、GVPO、Dr.GRPO、GCPO、MRT。
六项数学 Pass@1，相对未后训练的 Vanilla：
| 基座 | Vanilla 均分 | GRPO | 次优 GCPO | GUPO |
| DeepScaleR-1.5B | 60.3 | 60.7 | 62.3 | 63.4（+3.1） |
| R1-Distill-Qwen-1.5B | 51.3 | 52.4 | 53.7 | 55.4（+4.1） |
| R1-Distill-Qwen-7B | 68.6 | 69.6 | 70.9 | 71.4（+2.8） |
硬卷上拉开更明显。DeepScaleR 的 AIME 2024：Vanilla 42.8，GRPO 44.5，GUPO 48.7。1.5B Distill 的 MATH500：Vanilla 80.1，GRPO 80.3，GUPO 84.9。7B 的 AIME 2025：Vanilla 50.2，GRPO 51.7，GUPO 53.9。Length Penalty 在三个基座上都掉点。图 5 显示高冲突 mini-batch 上 GUPO 的验证增益仍高于 GRPO。
给正在跑 GRPO 的人一个可插的聚合校正：不改采样、不改优势估计，只改 mini-batch 里各 query 组梯度怎么加。相对 GRPO 的均分提升在 1.8 到 3.0 点，相对当时最强对照 GCPO 还有 0.5 到 1.7 点。
代价是每步要对最后一层做 Fisher 对角估计和 M 次 Monte Carlo 反传，论文没报墙钟开销。η 只有 0.1，说明大部分更新仍是原来的等权平均，不确定性项是轻度偏置。
论文没有单独的局限节。后验只建在最后一层，对角 Fisher 丢掉了参数相关；组梯度协方差也压成逐维方差。冲突和 ΔNLL 是相关，不是因果证明。评测全是可验证数学，没有代码、工具调用或开放式任务。三个基座都偏小，7B 上相对 Vanilla 只多 2.8 点，GRPO 自己在 DeepScaleR 上相对 Vanilla 只多 0.4 点，基线偏弱会放大方法的相对优势。M 的具体取值正文没写清。η=0.1 最优也说明，把等权平均整个换成不确定性加权并不一定更好。