Score Centering 的五种等价推导:从 TIM 漂移到 STE 视角
青稞AI · wechat · 2026-10-18
文章系统梳理了 Score Centering(SC)——2026 年 9 月由 Martin Marek 与 Max Ryabinin 提出、已被 slime 和 verl 实现的训推不一致修正方法——的五种独立解释视角：
- 原 SC 视角：TIM 导致即使奖励无差异也出现非零「漂移更新」，SC 将 score 减去均值消除 drift，且该 drift 方向等价于向 sampler 分布的蒸馏方向；SC 恢复了「减 baseline 后期望不变」性质。
- BPO 视角：SC 是根据 PMD 闭式解改写的 critic-free 目标的 token-level surrogate 梯度。
- Advantage 定义视角：SC 是希望用 sampler 精确 value baseline 时推出来的期望更新。
- STE 视角：SC 即直通估计器。
- 局部分布族视角：SC 是构造的局部分布族在起点处的真实 score。
实现要点(以 verl 为例)：
- 不保存全词表 sampler 分布(约 15 万词表 fp32 每位置约 600KB)，改用 top-k 重建，尾部用 trainer 分布近似；
- SC 可与 TIS/MIS 结合：精确 IS 已消除 mean-score drift，但 TIS/MIS 截断引入偏差后 score 均值重新非零，SC 再扣除该残差项。
「研究」频道最新
- EMNLP 论文：扩散语言模型内部隐式编码去噪时间步 — gsarti_ · 2026-10-23
- KU Leuven 与 VIB 招两位 AI in Biology 组长教授，2027 年入职 — jpillowtime · 2026-10-23
- Subspace Tuning:把权重更新限制在低奇异子空间,大幅缓解 LLM 灾难性遗忘 — scottniekum · 2026-10-23
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- Cohere 演讲：DRATS 自适应任务采样改善多任务 RL 数据分配 — Cohere · 2026-10-23