EMNLP 论文:先 OPD 后 RLVR 两阶段训练,稳定优于联合优化
xiye_nlp · x · 2026-09-16
EMNLP 2026 Findings 论文《Sequential Beats Joint》系统比较了在线策略蒸馏(OPD)与可验证奖励强化学习(RLVR)两种后训练方法的组合方式。
- 简单的两阶段方案「先 OPD 后 RL」在逻辑与数学推理基准上一致优于纯 OPD、纯 RLVR 以及加权叠加、teacher 调制等所有联合基线
- 机制解释:OPD 扩大学生对 teacher 支撑解的覆盖,RL 在该支撑内锐化;两信号同时优化会互相干扰
- 切换时机:OPD 验证集分数平台期即可转 RL;OPD 也是比 SFT 更好的 RL 冷启动
- 观察:切换后 top-K 重叠下降但共享 token 上的概率上升,说明 RL 仍在 teacher 支撑内锐化
实用结论:不需要新的目标函数,跑到验证分平台再切 RLVR 即可。
所属事件:EMNLP 论文：先 OPD 后 RL 两阶段训练优于联合优化(4 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02