研究揭示 RL 训练不稳定根源：Score Centering 实为 STE 技巧
brandondamos · x · 2026-09-21
@mryabinin 提出从第一性原理分析 LLM 强化学习中训练策略与采样策略不一致导致的训练不稳定问题，指出常规修复（数值对齐、重要性采样）只是绕过而非根治，并提出 Score Centering 直接抵消该不稳定性，实现简单且兼容现有方法。
@YouJiacheng 补充观察：Score Centering 本质上「偷偷」就是一个 STE（直通估计器），形式为 zp + sg(zq - zp)。
所属事件:策略梯度 score centering 被证等价于直通估计器(3 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12