RL 研究者：训练-推理失配成 GRPO 兴起后算法研究最大焦点
natolambert · x · 2026-10-31
人工智能研究者 Nathan Lambert（RLHR 作者、RL 书籍作者）表示，他在阅读 Score Centering 论文时发现附录中有一张很好的表格，梳理了各种基于重要性采样的训练-推理失配（train-inference mismatch）修正方法。他认为自 GRPO 走红以来，这类问题一直是 RL 算法研究的最大焦点。
所属事件:Score Centering 稳定离线策略 RL，训练推理失配成焦点(2 条相关)→
「研究」频道最新
- CMU 新论文:预训练、微调与 RL 可统一为单一训练算法 — rohanpaul_ai · 2026-10-31
- LLM 强化学习暗藏 Off-Policy 漂移：48 页长文梳理 14 种修正方法 — cwolferesearch · 2026-10-31
- Google Health：对话即诊断，AI 工具瞄准精神科问诊 — SRSchmidgall · 2026-10-31
- Scoping 研究系统评测：如何把 LLM 限制在特定业务域内 — burkov · 2026-10-31
- Meta 新论文：循环复用 Transformer 权重，不改参数量换更深网络 — iScienceLuvr · 2026-10-31
- 研究：换用负对数几率损失可全面提升训练归因方法 — davidbau · 2026-10-31