论文发现 LLM 强化学习里常见 KL 估计器会给错梯度
burny_tech · x · 2026-07-26
- 这篇论文讨论的是 LLM 的 RL 训练里 KL 正则化怎么估、以及不同估计器会不会把梯度带偏。
- 作者指出，DeepSeek 系列里使用的 k3 estimator 虽然对 expected reverse KL 的数值是无偏的，但它的梯度并不是 KL 的正确梯度；更糟的是，这个梯度实际上更像是 expected forward KL 的无偏梯度估计。
- 他们进一步做了实证分析，发现：在 on-policy 场景下，带偏梯度的估计器配置会引发训练不稳定；而 无偏梯度配置 往往能带来更好的 域内 和 域外 表现。
- 论文还观察到，KL 正则化有助于稳定 异步训练，并总结了 RL 后训练中使用 KL 目标时的实用建议。
所属事件:新研究揭示大模型 RL 训练中 KL 估计器存在严重缺陷(4 条相关)→
「研究」频道最新
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Terence Tao 基金会办 Mathathon：参赛队获 150 万美元算力 — _sathvikr · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27