GWU 与杜克拆解 LLM 强化学习训练-推理失配，提出 DLC 稳定训练
George-Washington-University · hf · 2026-11-02
乔治·华盛顿大学与杜克大学的论文系统分析了 LLM on-policy 强化学习中的训练-推理失配（training-inference mismatch）：推理引擎采样响应、另一 trainer 计算梯度，二者差异使训练数据实际上 off-policy。
- 失配拆解：在采样器权重处评估 trainer，可把每个采样 token 的误差精确分解为引擎的数值差异（numerical discrepancy）与 trainer 的策略滞后（policy lag），并全程追踪二者。
- 两种来源两种治法：数值差异近似恒定，只需在每个前缀处对 score 做中心化即可消除其主要偏差；策略滞后由 trainer 自身更新产生，会形成「滞后进入下次更新→滞后更大」的反馈循环，重要性加权只在滞后比保持集中时有效——在 Qwen3-1.7B 上，当比值的有效样本量跌破一半时即失效。
- DLC：由此推导出 discrepancy-lag correction：中心化数值差异、裁剪重要性比、并在训练中重新同步采样权重，实验显示单一来源下的稳定方法换到另一来源会失效，而 DLC 同时处理两者。
「研究」频道最新
- Synedrion 多智能体框架把税法条文自动翻译成可执行代码 — burkov · 2026-11-02
- 人大开源 FlashRSI：统一 13 种算法让 Agent 自动自我改进 — aigclink · 2026-11-02
- 训练与评测目标冲突:任务设计应要 pass@k 平滑上升而非阶跃 — JoshPurtell · 2026-11-02
- SemiAnalysis 发布 GDPx 基准:最强模型仅得 12%,Pichai 点赞 — sundarpichai · 2026-11-02
- VisMatch 1.4.0 发布：5 行代码跑通 50+ 图像匹配模型 — gabriberton · 2026-11-02
- FrameForge 用视频模型先验统一图像生成，动态建模条件差异 — FrameXAI · 2026-11-02