深度长文预告：Score Centering 解析 RL 训练不稳定性的成因与修复
cwolferesearch · x · 2026-11-09
cwolferesearch 预告将于明早发布的深度技术博客，主题是 score centering——作者称其在各大实验室被广泛使用。从配图看，文章将讲解 RL 训练不稳定性的理解与修复：包括 token 级 centered score 的策略梯度公式、对 FP8/FP4/INT8 等低精度训练下多种方法（GSPO、DAPO、MIS、TIS 等）的对比实验，以及 offline/online 设定下不同 centering 方式（±1/0、group-centered 等）的训练曲线差异，并涉及 trainer 与 sampler 间重要性比率与 reward drift 的分析。
「研究」频道最新
- ICLR 评审用 AI 写是否可接受？开发者：与 AI 讨论数小时再润色没问题 — algo_diver · 2026-11-09
- OmniGuide 无需重训即可在推理时引导扩散型 VLA 动作生成 — thoma_gu · 2026-11-09
- Physical Intelligence π0.7 明日亮相 CoRL 口头报告,展现涌现能力 — lucy_x_shi · 2026-11-09
- MolmoAct2 全开源动作推理模型获 CoRL TAG 工作坊最佳论文奖 — jmin__cho · 2026-11-09
- 阿里 Co-Design Bench:最强编码 Agent 完成率仅 26.4% — VectorWireAI · 2026-11-09
- Reflection 发布开源模型 Beam:501B 总参数 23B 激活,训练用 AdamC 算法 — andersonbcdefg · 2026-11-09