新论文提出 OPRD:弱教师反向蒸馏让学生模型超越教师上限
algo_diver · x · 2026-09-10
arXiv 论文《Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation》(Aaron Courville 等参与)研究弱到强泛化:新模型代际更替时,能否不从零重训,而是利用旧弱模型加速训练出更强的继任者。
核心方法 On-Policy Reverse Distillation (OPRD):
- 不把弱教师当作优化目标(传统蒸馏会把教师能力天花板强加给学生),而是衡量教师策略相对其参考策略的偏移方向(Delta),在学生 rollout 上评估该方向;
- 只放大学生策略梯度中由验证器(verifier)支持、且与教师偏移方向一致的分量,从而保留策略优化的驻点,同时加速学习超越教师;
- 结论:在连续代际迁移与多教师蒸馏两种场景下,OPRD 用更少的学生更新次数取得高于现有 RL 与蒸馏方法的性能;响应风格分析显示学生更接近纯 verifier-RL 训练的模型,说明教师只是加速而非改变学生自身的优化方向。
所属事件:新论文提出 OPRD：在线反向蒸馏实现弱到强泛化(2 条相关)→
「模型」频道最新
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- DeepSeek 安全评测发现「过度归因」：模型把普通任务当成考试 — Much_Boysenberry9124 · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27