UIUC 提出 Proximal KL:off-policy RLVR 免裁剪正则,数学基准最高提升 2.58%
UIUC-CS · hf · 2026-10-15
要点
- UIUC（Hao Bai、Jiarui Yao、Tong Zhang）研究 off-policy RLVR 中的 token 级重要性采样：token 级加权避免跨响应连乘似然比，但会带来梯度偏置。
- 理论贡献：在覆盖性与局部表达性条件下，加入完整未来 KL 信用即可使 proximal 最优解成为更新的唯一驻点，即使响应来自旧策略混合，也无需全响应权重或拟合 critic；另证明了连续时间表格更新的收敛性与线性 logistic 模型的有限样本奖励保证。
- 实践方法 Proximal KL：将 proximal 参考与采样策略分离，用有界未来 KL 信用替代 PPO 裁剪。
- 实验：在 Qwen3-1.7B 与 Qwen3-4B 的七组匹配 off-policy 对比中，八个数学基准的微平均准确率最高超过 GRPO 2.58%；周期性刷新实验中避免了 PG 与 CISPO 的训练崩溃，对基线扰动更不敏感。
「研究」频道最新
- 2021 年幻灯片曝光：Anthropic 早年已自建多 GPU 可解释性基础设施 Garçon — voooooogel · 2026-10-15
- Meta 用 Muse 模型建 AI 科研平台，基于500万份病历做健康研究 — _jasonwei · 2026-10-15
- Microduck 机器人仅靠 64 像素ToF实现板载SLAM重定位 — chris_j_paxton · 2026-10-15
- 新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏 — tokenbender · 2026-10-15
- 香农忆「熵」命名往事:冯·诺依曼称没人懂熵,争论永占上风 — eigenron · 2026-10-15
- 两人小队 304 GPU 时训出 HobbyLM,算力仅为同级 1/100-1/400 — msharmas · 2026-10-15