Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards
Fanchao Chen, Hengyu Fu, Shivaram Venkataraman, Jiantao Jiao
cs.LG
2026-09-29
HDL用verifier反馈后的token概率变化选分叉点，少量完整轨迹再复用前缀。相对GRPO生成token少35–61%，墙钟最多快1.8倍，Agent任务最高涨12.5分。
GRPO 这类 group-relative 方法，学习信号来自同一题下多条轨迹的奖励差。代价是每个 prompt 都要独立采一整组完整轨迹。长思维链和 agent 交互里，生成才是训练成本的大头。AReaL 一类异步系统把生成和更新解耦，甚至允许半截轨迹跨步续写，但采样单元仍是完整轨迹。
轨迹里的 token 对学习并不等价。Wang et al. 在数学推理上只更新最高熵的 20% token，就能匹配甚至超过全量更新。那只省了反向，生成阶段照样要把整条轨迹走完。TreeRL、BPO 用策略熵在中间状态多分叉、复用前缀，但熵不看最终结果。PivoARL、R3L 让模型反思后指定重试点，并额外训练反思目标。真问题在生成预算怎么分配：先走完少量完整轨迹，用 verifier 反馈定位模型事后改主意的位置，再只在那些位置采新后缀。
HDL（Hindsight-Divergence Localization，事后分歧定位）把一组 G=16 的轨迹拆成 M=2 条完整 root，其余 14 条从选中位置长出来。
对每条 root，verifier 给出反馈 f，策略再写一段反思 r，拼成事后上下文 h=[f; r]。同一套旧策略参数做两次 teacher-forcing：一次只看题目和前缀，一次额外看 h。每个已采样 token 得到两个 log-likelihood。事后分歧分数是两者差的绝对值。成功轨迹里关键步的概率可能被抬高，失败轨迹里出错步可能被压低，取绝对值两边都抓。每条 root 取分数最高的两个位置，分别分 3 条和 4 条 continuation。
图 1 很直白。root 的素性判断把 1 当成质数，测试通过率 0.7。反思指出缺 x<2 的守卫。重打分后变化最大的 token 是 for，root 在这里直接进了试除循环。从 for 分叉的 continuation 复用函数签名，在循环前插入不同守卫，奖励升到 1.0。continuation 在原始任务上下文里采样，hindsight 只用来选点，不把反思措辞写进策略。
组内仍用 Dr. GRPO 的均值中心化优势，不做组标准差归一化。root 对全部生成 token 算 loss，continuation 只对新建后缀算，共享前缀不重复计入。
默认 2×2 不是随便定的。Qwen3-8B Agent 上，7 条 continuation 堆到单点（2×1）分数 71.09，墙钟少 15%；扩到 4 条 root（4×2）分数 67.87，比默认 71.96 低 4.09 分，每步 token 从 0.27M 升到 0.31M。多个位置各留几条 continuation，比多采完整 root 更划算。
对齐设定：128 题/步，G=16，200 步，学习率 1e-6，温度 1.0，slime 框架，4 节点各 4 块 GB200。不对称 clip 0.2/0.28，无 KL。模型为 Qwen3-4B、Qwen3-8B、Llama-3.1-Nemotron-Nano-8B-v1。数学 4555 题（DeepMath-103K 过滤），代码 4063 题，agent 为 ScienceWorld 的 1856 个任务变体、最多 30 步。Qwen3 在数学和代码用 thinking 模式，agent 用非 thinking；反思一律非 thinking。评测上，数学和代码报 avg@N（AIME 与 HMMT 为 16，Minerva 与 LiveCodeBench 为 8，OlympiadBench 为 4），agent 每个 held-out 变体 4 条；每个方法取该域平均分最高的三个 checkpoint 再报均值和标准差。
相对 GRPO，生成 token 少 35–61%，rollout 墙钟少 18–45%。Qwen3-8B 数学每步从 27.28M token 降到 10.59M。相对 DAPO，token 少 43–75%，墙钟快 1.52×–3.18×。计数包含 HDL 的反思和 DAPO 丢掉的候选。
| 模型与任务 | HDL | GRPO | DAPO |
| Qwen3-8B Math 六基准平均 | 54.16 | 53.17 | 53.47 |
| Qwen3-4B Math 平均 | 51.86 | 51.57 | 52.48 |
| Llama3.1-8B Math 平均 | 51.39 | 51.49 | 53.34 |
| Qwen3-8B Code LCB avg@8 | 55.56 | 55.42 | 54.88 |
| Qwen3-4B Agent ScienceWorld | 67.44 | 57.76 | 60.84 |
| Qwen3-8B Agent | 71.96 | 59.50 | 60.80 |
| Llama3.1-8B Agent | 71.81 | 69.94 | 75.35 |
数学和代码是小数点级进退。大头在 agent：Qwen3-8B 相对 GRPO +12.46，相对 DAPO +11.16；Qwen3-4B 相对 GRPO +9.68。Llama 上 DAPO 的 Agent 75.35 高于 HDL，数学也是 DAPO 领先。
同一套分叉机器只换选点信号，Qwen3-8B 上 HDL 三域都最高。Agent 为 HDL 71.96、Entropy 66.29、Reflection 65.42。Entropy 不论成败都爱开在动词上（成功 root 80.8%，失败 83.7%）；HDL 在失败 root 里有 52.4% 开在论元（成功 root 32.7%），等于保留操作、改对象或目的地。训练后半段，Entropy 选中位置的均值从 1.03 掉到 0.57，动词 TVD 从 0.278 收到 0.246；HDL 分歧分数从 6.85 升到 7.78。Reflection 常解析失败或点挤在一起，每组平均 3.22 个有效分叉点，HDL 为 3.95（上限 4）。
已经在跑 GRPO 的人可以把这看成生成侧补丁：目标函数几乎不动，组大小和步数对齐时 token 预算砍掉三成到六成。长程 agent 最对口。独立重采会把早期走错房间、拿错工具的失败从头再演一遍；HDL 把额外探索压在事后改主意的决策上。数学、代码别指望靠它拉榜，相对 GRPO 最多大约 1 分，有的设置还略亏。
墙钟已经计入反思和重打分，净速度仍是 1.22×–1.83×。超参别改成多采几条 root：4×2 在 Qwen3-8B Agent 上更慢也更差。
抽取正文没有独立 Limitations 节。结论写三域都涨，表格不支持这个全称。Llama 数学 51.39 略低于 GRPO 的 51.49，代码 54.34 低于 54.87；Agent 上 DAPO 以 75.35 压过 HDL 的 71.81。增益高度集中在 Qwen3 的 ScienceWorld：30 步文本环境、子目标稠密奖励。更稀疏、更长的 agent，以及真实工具调用，没有验证。
Entropy / Reflection 对照共用 HDL 的 root–continuation 机器，只换选点信号，不是完整的 TreeRL、BPO、PivoARL。HDL 赢的是选点准则。反思固定用非 thinking 模式，质量绑在模型会不会写出能改概率的事后解释；反馈信息量不够时，分歧分数会变成噪声。实验停在 200 步、最大 8B，没有报告选点偏差时组内优势会不会被共享前缀带偏。