新论文提出 OPRD:弱教师反向蒸馏让学生模型超越教师上限
algo_diver · x · 2026-09-10
arXiv 论文《Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation》(Aaron Courville 等参与)研究弱到强泛化:新模型代际更替时,能否不从零重训,而是利用旧弱模型加速训练出更强的继任者。
核心方法 On-Policy Reverse Distillation (OPRD):
- 不把弱教师当作优化目标(传统蒸馏会把教师能力天花板强加给学生),而是衡量教师策略相对其参考策略的偏移方向(Delta),在学生 rollout 上评估该方向;
- 只放大学生策略梯度中由验证器(verifier)支持、且与教师偏移方向一致的分量,从而保留策略优化的驻点,同时加速学习超越教师;
- 结论:在连续代际迁移与多教师蒸馏两种场景下,OPRD 用更少的学生更新次数取得高于现有 RL 与蒸馏方法的性能;响应风格分析显示学生更接近纯 verifier-RL 训练的模型,说明教师只是加速而非改变学生自身的优化方向。
所属事件:新论文提出 OPRD：在线反向蒸馏实现弱到强泛化(2 条相关)→
「模型」频道最新
- KOL 吐槽 OpenAI 6.1 Sol 被评 B 级:发布策略搞砸了 — Angaisb_ · 2026-10-27
- php2shell 漏洞实测：仅 2/5 前沿模型能完成利用移植，耗时 3.5-6 小时 — xeophon · 2026-10-27
- Qwen Code 发布 v0.26.2 预览版：新增会话权限规则与实验性共享 Agent Loop — qwen-code-review-bot · 2026-10-27
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%，降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27