ETH 研究团队拆解自蒸馏:拒绝式教师让推理崩溃,对比式蒸馏更稳
arkrause · x · 2026-10-02
ETH Zurich 的 Andreas Krause 团队发布博客《On Repulsive and Attractive Teachers》,系统研究自蒸馏中教师信号方向的影响。
- 背景:在线策略蒸馏(on-policy distillation)是今年后训练的热门技术,但一些论文提出反转自蒸馏损失(即“远离教师”,repulsive distillation)。
- 发现一:带特权上下文的自蒸馏会迁移教师的行为偏移,压制探索、回答变短,甚至损害推理;repulsive 蒸馏虽能反转这一偏移,却会让回答不断变长直到撞上长度上限、训练崩溃。
- 发现二:作者提出对比式自蒸馏(contrastive self-distillation),同时使用正确解教师(吸引)与错误解教师(排斥)信号,行为偏移相互抵消而纠错信号保留,既提升推理又保持训练稳定。
- 文章用 token 级重打分的可视化清晰展示了三种方案的信号差异。
这是一篇方法论质量很高的训练技术解析,适合关注后训练与蒸馏方向的读者。
「研究」频道最新
- Quail 团队用 roofline 模型估算 AI-SQL 延迟:5k 条评论过滤下限仅 6.6 秒 — sh_reya · 2026-10-02
- Nature 开放同行评审竟带涂黑,研究者群嘲"再收 1.6 万美元" — anshulkundaje · 2026-10-02
- 投机解码框架 Uno 获推理厂商采用:28k 长上下文提速至 DFlash 两倍 — yuntiandeng · 2026-10-02
- 莱比锡大学 LION Lab 招聘蛋白语言模型可解释性博士生 — coryshain · 2026-10-02
- UK AISI 携手 EvalEval 推出标准化 Evaluation Cards,让基准成绩可复现 — dl_weekly · 2026-10-02
- 哈佛物理学家借 Claude 做精确计算，发现跨学科隐藏关联 — AnthropicAI · 2026-10-02