EMNLP 论文：先 OPD 后 RLVR 两段式训练全面优于联合优化
xiye_nlp · x · 2026-09-16
一项入选 EMNLP 2026 Findings 的研究（arXiv:2609.04108）系统比较了 on-policy distillation（OPD）与 RLVR 两种推理模型后训练方法，结论是简单的两阶段方案「先 OPD、再 RLVR」在逻辑与数学推理基准上稳定优于纯 OPD、纯 RLVR 以及加权混合、教师调制优势重缩放等所有联合基线。
关键发现：
- 机制解释：OPD 扩大学生模型对教师支持解空间的覆盖，RL 在该支持范围内进行锐化；两信号同时优化会互相干扰。切换到 RL 后，top-K 重叠下降而共享 token 上的概率上升——学生保留更少的教师支持选项，但把更多概率质量集中到保留的那些上。
- 实用配方：OPD 的验证集得分是切换时机的关键信号——跑到验证性能平台期再切 RL 即可，无需新目标函数。
- OPD 比 SFT 是更好的 RL 冷启动方式。
工作由 Boyan Li、Bingsen Chen 等（Xi Ye 团队）完成，论文与代码均已开源。
所属事件:EMNLP 论文：先 OPD 后 RL 两阶段训练优于联合优化(4 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02