SCOUT 让教师模型适配学生前缀，修复 on-policy 蒸馏的监督失真
mangahomanga · x · 2026-10-15
On-policy distillation（OPD）让学生模型从自己实际访问的推理路径中学习，但存在「教师问题」：教师需要对它自己很少走到的路径给出反馈，随着路径变长，即使强教师的 token 级监督也变得不可靠。
作者提出 SCOUT（Student-COnditioned Updates of the Teacher）：让教师和学生一起学习，教师根据学生的前缀进行适配，从而在陌生的学生路径上保持可靠监督。
「研究」频道最新
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- 机械可解释性老将反思:对齐≠误解泛化,CoT 监督的隐忧 — akbirthko · 2026-10-16
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16