Together AI 提出 Score Centering:量化推理下 RL 训练不再崩
nrehiew_ · x · 2026-10-16
Together AI 研究员 Martin Marek 与 Max Ryabinin 发布论文《Score Centering Stabilizes Off-policy Reinforcement Learning》,指出 LLM 强化学习对训练与推理引擎的微小差异(TIM)极为敏感,而不稳定的根源是 trainer 与 inference 之间持续累积的偏差(drift)。
论文提出一个加性的「score centering」修正项,通过抵消漂移使 RL 在重 TIM 下保持稳定。核心发现:
- 对 0.6B 到 30B 参数的模型,score centering 在严重量化(如 FP8/INT4 权重与 KV cache)下即匹配或超越重要性采样等现有修正方法
- 推理端量化越重,不匹配缺口越大,修正方法的优势越明显
- score centering 与重要性采样可组合,组合效果优于纯重要性采样
在 Qwen3-30B-A3B 上对 INTELLECT-2 数据集的 800 步训练中,score centering 保持稳定,而 naive PG 训练准确率崩塌,截断重要性采样(TIS)等方法也不如它稳定。作者 nrehiew 认为这将成为以后 RL 标准配方的默认组成部分。
「Infra」频道最新
- 深度解析 LiteLLM：一个 API 如何统一路由所有模型厂商 — Mahmoud_Zalt · 2026-10-16
- OpenAI 与 Broadcom 自研芯片 Jalapeño 入选 TIME 2026 最佳发明 — itsclivetime · 2026-10-16
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16