分数中心化与重要性采样互补,破解 LLM RL 训练-推理失配

cwolferesearch · x · 2026-11-14

Colin Fraser 讨论强化学习中训练-推理失配(TIM)问题:token 由 sampler 策略采样,但梯度用 trainer 策略计算,导致 sampler 下的 token 级分数期望非零,引入偏差。

作者指出两种方法出发点不同,但在解决 TIM 上是互补而非互斥的,详见其博客文章。

所属事件:研究者解析修复 LLM 强化学习训练推理错配(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →