Relay-OPD 用教师接力修复学生错误前缀推理
zju · hf · 2026-07-29
这篇论文提出 Relay-OPD，用来解决 on-policy distillation 里的 prefix failure：学生一旦在推理前缀里走错方向，后续生成会沿着错误轨迹继续，导致监督失真、算力浪费。
- 方法核心是根据教师与学生在失败前缀上的续写差异，自动触发一个无标签的接力点。
- 训练时让教师在触发点短暂接管，生成一段 relay trajectory，之后再交回学生继续优化。
- 论文强调用有限的接力预算把干预集中在早期关键位置，同时尽量不偏离学生原有策略。
- 在 8 个数学推理基准上，使用 Qwen3-4B-Instruct-2507 做教师、Qwen3-0.6B / 1.7B-Non-Thinking 做学生时，结果是每个基准都达到最优或次优。
- 相比标准 OPD，1.7B 学生平均提升 5.73%；相比最强基线 FastOPD，平均再高 1.49%；训练轨迹长度还减少了 50% 以上。
所属事件:Relay-OPD 框架通过教师接力修复学生模型前缀失败(2 条相关)→
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16