Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning
Woongyeong Yeo, Minki Kang, Chanuk Lee, Sangwoo Park, Jinheon Baek, Sung Ju Hwang
cs.LG, cs.AI, cs.CL
2026-09-28
EAPO把策略熵与优势符号耦合，成功时强化高熵决策、失败时惩罚低熵决策。4B-Base六项均准31.0%，比最强熵基线高5.6点。
RLVR 用可验证奖励给整条推理一个对错分。GRPO 把同题一组回复的奖励做成回复级优势，再原样贴到每个 token 上。关键分叉和套话收尾拿到的学习信号完全一样。
想把功劳拆到 token，现有做法往往要过程奖励模型、额外采样，或像 RLRT 那样用带特权信息的教师。策略熵是现成信号：下一步分布越散，模型越犹豫。EntropyAdv、HAPO、80/20 在成功和失败时都偏向高熵位置。失败回复里，高熵处往往还留着能改道的分支，罚得最重的正好是这些位置。
不确定性能不能在强化和惩罚时共用同一套偏好，是这篇要回答的问题。
KAIST 与 DeepAuto.ai 先做了一个续写实验。Qwen3-4B/8B-Base 各取 20 道中等难度数学题，从对、错回答里切出相对位置对齐的 32-token 高熵和低熵窗口，固定前缀再采 64 条续写。
原来答对的轨迹，从高熵窗口续写后几乎不再重合：4B 上 overlap 从 29.1 掉到 4.1，最终奖励从 0.578 掉到 0.390，少 18.8 个百分点。原来答错的轨迹，低熵窗口续写几乎还是错，奖励 0.070；高熵窗口能抬到 0.163，多 9.3 个百分点。8B 上同一不对称：答对高熵续写少 20.7 个点，答错高熵续写多 12.7 个点。词频也对得上：对的高熵处多「let's」「consider」，错的低熵处多「finally」「confirm」。
论文把这称作惊喜成功、重复失败，并做成 EAPO（Entropic Advantage Policy Optimization）：
答对了，功劳多记在当时还在犹豫的分叉上，让偶尔走通的探索变得可重复。答错了，板子打在模型很自信的错误结论上，高熵处少罚，把退路留着。负向更新越重，未选中的候选分布越尖、越偏离更新前；失败时在高熵处减轻惩罚，是为了少把概率挤到已经很大的错误备选上。直接替换 GRPO 的优势，不需要辅助模型、额外 rollout 或特权信息。
训练数据是 DAPO-Math-17k-Processed，配置走 DAPO 风格。评测六项竞赛数学：AIME24/25/26、HMMT26、AMC23、MATH500 的 level-5 子集。指标是 avg@32 和 pass@32。对照包括未做 RL 的骨干、GRPO，以及 EntropyAdv、HAPO、80/20、RLRT。
| 骨干 | EAPO均准 | 最强对照 | 差距 |
| Qwen3-4B-Base | 31.0% | EntropyAdv 25.4% | +5.6 |
| Qwen3-8B-Base | 34.0% | 80/20 29.7% | +4.3 |
| Qwen3-4B | 72.4% | EntropyAdv 约71.3% | +1.1 |
| Olmo-3-7B-Think-DPO | 74.3% | 80/20 约73.7% | +0.6 |
4B-Base 单点更清楚。AIME24 avg@32：EAPO 20.2，GRPO 12.5，RLRT 15.3。AIME26：15.7 对 GRPO 的 7.5。HMMT26：13.4 对 GRPO 的 5.9。pass@32 不是项项第一：HMMT26 上 RLRT 36.4、EAPO 33.3；AMC23 上 80/20 为 95.0、EAPO 为 92.5。总体最好指的是六项均值。
Reasoning Gym 八项（图、魔方、数独、Knights and Knaves 等）avg@16：4B-Base 上 EAPO 34.89，80/20 为 33.43，高 1.46 点；8B-Base 上 43.02，HAPO 为 40.00，高 3.02 点。数学上训出的不对称能带到逻辑和算法题，4B 的外推幅度很小。
AIME26 上 pass@k 从 1 扫到 256，EAPO 全程最高；k=256 时多解出一道所有基线都没解开的题。低准确题目上，归一化答案熵 0.751（GRPO 为 0.657），碰撞率 0.101（GRPO 为 0.166）。认识性标记如「wait」按每千 token 计，六项数学都是最高。训练后期平均熵却低于 EntropyAdv 和 HAPO。附录把基线回复补长也追不上，正文没给这组对照的具体数字。
消融把强化方向和惩罚方向各扫低熵、均匀、高熵，共九种。默认配置均准 31.00、pass@32 为 61.27；均匀信用是 24.48 和 50.43，差 6.52 个点。固定高熵强化、把惩罚从高熵改到低熵，均准再抬 5.64 个点。κ 从 0 调到 log 4，AIME26 的 pass@32 从 33.33 到 50.00；再加大到 log 8、log 16，pass@32 回落，训练更快也更不稳。
这是对 GRPO 的 drop-in 改权重，不改采样、不加过程监督。已经在跑 EntropyAdv 或 80/20 的人，改的是同一类信号，只是成功和失败不再共用一套熵偏好。
场景很窄也很清楚：有 verifier 的数学、逻辑、算法推理，尤其是 base 模型还在学怎么探索的时候。Qwen3-4B 和 Olmo-3-7B-Think-DPO 这类推理骨干上也涨，但起点已经高，增量是渐进的。代码已公开。
高平均熵不是更好探索的前提。熵要跟对错的符号绑在一起用。
作者写了两点。熵是模型自己的不确定度，分配会吃进已有偏见；它跟「这个 token 对最终对错到底有没有贡献」是否对齐，并没有被直接验证。机制分析只做了同一前缀下的续写，没有研究跨轨迹拼接有用片段。伦理声明也提醒：推理分数涨了，不等于输出更安全。
续写实验每模型只有 20 道题、每题 2 对 2 错，观测很薄，却撑起整套非对称设计。评测骨干只有 Qwen3 和 Olmo-3。OOD 在 4B 上只比 80/20 高 1.46 点。若干格子会输：Olmo 的 AIME24 均准 RLRT 77.3、EAPO 76.7；Qwen3-4B 的 MATH500-H 均准 EntropyAdv 90.6、EAPO 90.2。均值第一不能读成处处第一。