清华北大商汤提出 BranchOPD：分支式在线蒸馏，数学提升 18.55 点
BranchOPD · hf · 2026-10-13
清华大学、北京大学与商汤科技提出 BranchOPD（分支式在线蒸馏），改进 on-policy distillation 单轨迹监督覆盖不足的问题。
- 方法：用学生不确定性和师生分歧挑选信息量大的决策点，从共享前缀重采样学生策略延续，对主轨迹与分支均施加 token 级教师监督；数学任务在 token 级分支，agent 任务在回合内分支。
- 成本：共享前缀复用使 ALFWorld 学生生成 token 成本降约 19%，WebShop 降约 31%（对比 7 条独立轨迹）。
- 配套技术：提出 protocol-boundary repair（PBR），在协议约束下定向监督以缓解重复和无效生成。
- 效果：全面超越 Vanilla OPD 与 Multi-Rollout OPD（n=7）：数学 avg@16 平均准确率较 Vanilla OPD 提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 点。代码与模型已开源。
「研究」频道最新
- 机器人学界该有自己的「千禧年难题」：作者列出十大长期研究问题 — DJiafei · 2026-10-13
- 菲尔兹奖得主 Gowers 演讲：「AI 在我暑假里做了什么」 — tak3sh8 · 2026-10-13
- 数学家该抢先进用高级数学模型,用它加速推进整个领域 — haltakov · 2026-10-13
- LightOn 首批微调模型落地：中世纪拉丁语与文化遗产英语专用模型 — IgorCarron · 2026-10-13
- 从千万到千亿:细胞图谱研究瞄准 1000 亿个细胞 — EricTopol · 2026-10-13
- AI 重现消失的鸟鸣，三周后野生麻雀竟开始学唱 — castrotech · 2026-10-13