TGRL: Temperature-Grouped Reinforcement Learning for Efficient Exploration in LLMs
Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Wei Lin, Guojun Yin, Ran He
cs.LG, cs.CL
2026-09-27
每个prompt拆成低高温两组,用奖励差估计探索收益,再用JS把信用分到温度敏感token。采样预算不变,达同等精度最多快36%,32B数学均分高1.6%。
可验证奖励强化学习(RLVR,用对错或执行结果自动打分再做策略梯度)已经是大模型推理后训练的常规路径。它卡在探索:预算只有几条 rollout 时,策略很容易塌进窄解码模式,同一 prompt 再也搜不到更高分的轨迹。
现有补救分两路。test-time scaling 靠多采样、多搜索,多样性来了,条数也涨了。温度调度或高温采样能在不加点名额的情况下把分布摊开,但「摊开之后可验证奖励有没有涨」并不进入训练目标。GRPO、DAPO 这类组相对方法在组内做均值方差归一,默认组里已经够杂;同一温度下排得出相对好坏,估不出「这个 prompt 上从保守解码换成更热的探索,分数会不会更高」。
温度只当解码旋钮,探索停在采样阶段,进不了 token 级梯度。
美团与中科院自动化所、国科大提出 TGRL。核心是把温度差做成 prompt 级对照实验,再按位置对温度的敏感度把信号拆开。
每个 prompt 仍只采 4 条回复,和单温度基线同一预算:
两组平均奖励之差 ΔR 是该 prompt 上探索收益的无偏估计。把 4 条放进同一组做 GRPO 式归一后,这个差会以加性项进入 advantage:高温组整体更高,每条高温轨迹被抬一把;整体更低就被压下去。低温样本仍参与均值和方差,但只当尺子。
轨迹级 advantage 还是一个标量。TGRL 拿高温回复各位置的同一套 logits,分别做 T0 和 T1 的 softmax,算下一步分布的 Jensen-Shannon 散度(JS,两个分布到中点的平均 KL,对称且有界)。某位置 JS 大,说明拧温度旋钮时这里的下一 token 分布动得最厉害。权重先做 log 压缩压掉尖峰,再按轨迹归一到均值 1,乘到高温 advantage 上。低温组 token advantage 全部置零,不回传。附录证明两边一起更新会把探索项变成「高温减低温」的对比梯度,低温参考变成反向拉力,冲掉高温组带回来的修正。
训练前 20 个 step 全部高温、按普通组归一更新,避免策略还没稳住时低温组变成退化基线。随后的目标函数是高温组上的 clipped importance-ratio,稳定化和 PPO 同一套。
可以想成:每个题当场做一次低/高温 A/B,赚到的分差只打到「温度一拧就会改口」的那些 token 上。
数学在 Qwen3 think mode、DeepScaleR 上训,评测 Avg@16。14B 六项均分 TGRL 69.4,最强基线 DAPO 68.0,高 1.4 个点;AIME24 相对此前最好的 Dr.GRPO 61.2 再高 2.2 个点。32B 均分 70.2,DAPO 68.6,高 1.6 个点,六项全第一,Olympiad 相对此前最好的 PPO 65.7 高 4.2 个点。
| 设置 | 指标 | TGRL | 最强对照 |
| Qwen3-14B | 六项数学均分 | 69.4 | DAPO 68.0 |
| Qwen3-32B | 六项数学均分 | 70.2 | DAPO 68.6 |
| Qwen3-4B | LiveCodeBench Pass@16 | 62.1 | PPO/Dr.GRPO 57.7 |
| Qwen3-4B | CodeForces rating | 1574.3 | PPO 1377.6 |
| Qwen2.5-7B | ALFWorld 成功率 | 86.7 | PPO 80.4 |
代码在 Qwen3-4B、DeepCoder 上。LiveCodeBench Pass@16 从最强先验 57.7 到 62.1(+4.4);CodeForces rating 从 PPO 的 1377.6 到 1574.3(+196.7),百分位 71.9% 到 84.3%。接近饱和的 HumanEval+ 上 TGRL 96.9,低于 RLOO 的 97.5。14B 的 Minerva(48.9)和 AMC23(92.7)也没拿到单项第一。
Agent 换 Qwen2.5-7B-Instruct。ALFWorld 总成功率 86.7,比 PPO 的 80.4 高 6.3 个点,Pick2 从 PPO 的 68.8 拉到 95.0。WebShop 成功率 74.2,比 EMPG 的 69.3 高 4.9 个点。Heat/Cool/Look 三个子任务 TGRL 低于 PPO 或 EMPG,总成功靠其余子任务补上。
消融把两段拆开。GRPO 只把温度从 T0 调到 T1,14B 均分 66.5→67.0,32B 65.1→66.2。换成混温度但 token 信用均分,均分到 68.2 和 67.8。再加上 JS,到 69.4 和 70.2,AIME25 额外再高 2.5 和 3.5 个点。熵正则 GRPO 最好 67.8,逐步调全局温度的 TAMPO 68.0,14B 上都没到 69.4。
图 2 的 Mean@8 里,高温 GRPO 把 AIME24/25 从 54.8%/37.5% 提到 60.0%/44.2%,仍低于 TGRL 的 61.9%/49.6%。后期平均回复长度 TGRL 2476 token,GRPO 低温 3915、高温 3482;截断率 7.2% 对 16.0% 和 12.4%。14B 墙上时钟:TGRL 达到 DAPO 12 小时最佳的 95% 阈值(0.9045)用 6.39 小时,DAPO 摸到自己的 0.9521 用 10.01 小时,论文把这记成最多快 36%。
这是给锁死采样条数的 GRPO/DAPO 流水线做的渐进补丁,不是新的优化器。温度从超参变成组内对照,JS 吃的是现成 logits。附录复杂度写主导项仍是 Transformer 反传;naive 再跑一遍 forward 只会加大常数,不改变阶。
增益集中在难竞赛题、未饱和代码、稀疏奖励长程 agent。已经很高的 HumanEval+ 上增益消失。落地要改采样器做混温度,并接受 4 条里 1 条只当参考、不更新。代码已开源。
正文没有独立的局限节。结论里点名的后续是自适应多温度、更丰富的 token 信用、更开放的交互环境。
36% 要对齐口径:TGRL 撞线的是 DAPO 12 小时最佳的 95%,对照的是 DAPO 到达自身峰值的时间,不是双方到达同一最终分数的时间。低温默认 1 条,Lemma 1 里 ΔR 方差按 1/|GT0| 降,单条锚的噪声会直接进 advantage。AIME 每套 30 题,论文说补了 5-seed 且均值差不小于标准差,正文没列出具体方差。数学和代码都在 Qwen3,agent 换了 Qwen2.5-7B,没有非 Qwen 对照。
JS 的理论结论是:对温度更敏感的位置,分到的信用不少于均匀分配。它不证明这些位置就是因果关键步骤。local-cooling 探针里 JS 跨度的 flip rate 12.1%、分数下降 0.241,高于熵选择器的 7.6%/0.152,只能说明温度敏感和下游奖励有关。