分数中心化与重要性采样互补,破解 LLM RL 训练-推理失配
cwolferesearch · x · 2026-11-14
Colin Fraser 讨论强化学习中训练-推理失配(TIM)问题:token 由 sampler 策略采样,但梯度用 trainer 策略计算,导致 sampler 下的 token 级分数期望非零,引入偏差。
- 分数中心化:通过中心化 score 来消除这一系统性偏移
- 重要性采样:用重要性权重修正两个策略间的分布差异
作者指出两种方法出发点不同,但在解决 TIM 上是互补而非互斥的,详见其博客文章。
所属事件:研究者解析修复 LLM 强化学习训练推理错配(2 条相关)→
「研究」频道最新
- 帽子矩阵一句话讲透:最小二乘拟合中每个数据点权重几何 — RobertTLange · 2026-11-22
- 统计杠杆的三个妙用:免费 LOOCV、稳健加权与随机草图 — RobertTLange · 2026-11-22
- Energy-Based Reasoners 论文:用能量函数引导潜空间推理与自适应停止 — kalyan_kpl · 2026-11-22
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22