新蒸馏法「老师是方向不是终点」:学生模型可反超教师,四组模型验证
_akhaliq · x · 2026-10-02
论文《The Teacher Is a Direction, Not a Destination》提出一种新的 on-policy 蒸馏方法:通过外推 RL 诱导的表征残差(extrapolates RL-induced representation residuals),让学生模型在蒸馏时沿「教师指出的方向」继续前进,而不是止步于教师的能力上限。
关键结果:
- 在四组模型配对上,学生模型能够匹配甚至超过教师模型;
- 代码与 checkpoint 计划开源发布。
这对知识蒸馏的传统假设(学生只能逼近教师)是一个挑战,思路是用 RL 带来的表征变化方向作为外推依据。
「研究」频道最新
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16
- NeurIPS 论文:10 张图蒸馏 ImageNet 一个类别的全部知识 — giannis_daras · 2026-11-16
- 为什么方差估计要除以 n-1:两分钟讲透贝塞尔校正 — JFPuget · 2026-11-16
- 商业场景中 Type 2 错误代价常高于 Type 1 — mdancho84 · 2026-11-16
- 风险管理视角:漏检真实风险可致重大损失乃至倒闭 — mdancho84 · 2026-11-16
- Type 2 错误定义:对真孕妇报阴性即漏检真实效应 — mdancho84 · 2026-11-16