研究者解析修复 LLM 强化学习训练推理错配

多位研究者讨论 LLM 强化学习中的训练-推理错配(TIM)问题:token 由 sampler 采样,梯度却按 trainer 策略计算,导致采样 token 被低估。Cameron Wolfe 深入解析两种修复手段——分数中心化与重要性采样——并阐明二者为何互补;Colin Fraser 也参与了相关讨论。这一分析为提升 RL 训练稳定性提供了新思路。

2026-11-14 ~ 2026-11-14 · 2 条相关