RL 训练漂移本质:向移动的 rollout 模型做蒸馏导致不稳
nrehiew_ · x · 2026-10-16
nrehiew 在推文中分析 RL 训练-推理不匹配(TIM)引发漂移的数学根源:漂移项(sampler 下的 score)本质上等价于向 sampler 做交叉熵蒸馏。由于 rollout 模型是「移动的教师」,这种蒸馏导致训练不稳定。
他进一步指出:在 TIM 下该漂移无法再用 log-derivative trick 抵消,因为奖励是在 sampler 下采样,而 score 的期望是在 trainer 下计算,二者不再一致。
这是对 Together AI 论文《Score Centering Stabilizes Off-policy Reinforcement Learning》的技术解读线程的一部分。
所属事件:RL 训练漂移被证实等价于向采样模型蒸馏(2 条相关)→
「研究」频道最新
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- RES 环境递归扩展：六大模型长程任务成功率暴跌 57-77 个百分点 — Lingxiao Jing · 2026-10-16
- 哈佛提出 MPT：用「竞标市场」训练去中心化 Agent 集群自组织 — Harvard · 2026-10-16
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16