RLVR熵坍缩新解法
机器之心 · wechat · 2026-07-15
基于可验证奖励的强化学习（RLVR）已成为大模型后训练的重要路线，但训练中常出现策略熵快速下降、输出同质化、探索空间收缩的问题。文章以一篇 ACL 2026 Outstanding Paper 为例，系统分析了熵坍缩的 token-level 机制：一次更新中，token 是否被裁剪、优势信号方向、原始生成概率以及条件熵，共同决定局部熵是升还是降。 作者据此重新解释了已有熵干预方法为何有效、又为何有限：例如 DAPO/Clip-Higher 会放开“稀有但正确”的分支，Positive-Reweighting 会削弱对熟悉正确路径的过度强化，但这些方法多是粗粒度地调节部分 token，缺少对每个 token 熵变的直接控制。 论文进一步提出 STEER（Stabilizing Token-level Entropy-changE via Reweighting），按 token 预计带来的熵变化幅度动态降权，起到“限速器”作用，而不是单纯把熵拉高。实验显示，STEER 在数学推理与代码任务上都带来稳定提升，并能在不同模型家族与 RLVR 算法上复现收益。