Together AI 新论文:分数中心化一个修正项稳住 off-policy RL 训练
PandaAshwinee · x · 2026-09-18
Together AI 的 Martin Marek 与 Max Ryabinin 发布论文《Score Centering Stabilizes Off-policy Reinforcement Learning》,解决 LLM RL 中臭名昭著的训练-推理失配(TIM)问题。
- 问题:训练与推理引擎的微小差异会让 RL 训练极不稳定;彻底消除 TIM 会严重牺牲 rollout 效率,不现实
- 诊断:不稳定的根源是「漂移」——训练与推理引擎之间随每步训练累积的持续性偏差
- 方法:推导出一个加性的「分数中心化」(score centering)修正项,通过抵消漂移来稳定训练
- 结果:在 0.6B–30B 参数模型上训练,单独使用分数中心化即可持平或超过量化条件下基于重要性采样(TIS)的方法,失配越严重差距越大
- 组合:由于修正是加性的,与重要性采样组合后在 staleness 实验中超过纯重要性采样基线
- 实验基于 Qwen3-30B-A3B-Base 在 INTELLECT-2 数学数据上的 RL 训练,覆盖从温和到重度量化场景
所属事件:Together AI 提出 Score Centering，一个修正项稳住 off-policy RL(5 条相关)→
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04