浙大和腾讯的 STEER 直指 RL 训练中的熵塌缩
jiqizhixin · x · 2026-07-24
浙大和腾讯提出 STEER，解决 RL 训练中的熵塌缩问题
来自 浙江大学 和 腾讯 的研究者提出了 STEER，目标是处理大模型推理训练里的一个常见故障：entropy collapse（熵塌缩）。
与其用经验规则“硬调”熵值，STEER 的思路是先估计熵变化，再对 token 进行自适应重加权。作者认为，这种做法比传统启发式干预更直接地对准了 RL for LLMs 的关键缺陷。
帖子称，该方法在以下基准上优于当前最强 baseline：
- 6 个数学推理基准
- 3 个代码基准
论文题目为 Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective，代码也已公开。
「研究」频道最新
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- Mundo:几张照片重建可探索的世界模型,8 卡 GPU 也只有 1.5 FPS — mark_k · 2026-10-27
- INRIA 研究员将于 ENS 报告「作为实验科学的数学」:LLM 参与数学研究 — marc_lelarge · 2026-10-27
- 美国能源部 Genesis Mission 二期落地:AI 进军粒子加速器与稀有同位素分离 — prescott · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- Deepity：手写 CUDA/C++ 预测编码库 — Important-Home4431 · 2026-10-27