Together AI 提出分数中心化,修正 RL 训练-推理失配漂移
PandaAshwinee · x · 2026-09-18
Together AI 研究员 Max Ryabinin 等发布新论文,提出针对 RL 训练-推理失配(TIM)的原理性修正方法。
- 论文指出 TIM 下 RL 不稳定的根源是漂移:训练与推理引擎间的偏差随训练步数累积
- 提出「分数中心化」(score centering)加性修正项,直接抵消漂移
- 在 0.6B 到 30B 参数模型上验证:单独使用即可比肩甚至超过基于重要性采样的方法,失配越严重优势越大
- 该修正与重要性采样可组合,组合后在 staleness 实验中优于纯重要性采样基线
所属事件:Together AI 提出 Score Centering，一个修正项稳住 off-policy RL(5 条相关)→
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04