NeurIPS 论文 CaRE-KD:让学生模型学会何时该信任蒸馏教师
Tanmoy_Chak · x · 2026-10-03
- 知识蒸馏中教师模型会幻觉,标准 KD 却强制学生照搬,把概率质量浪费在教师嘈杂、低置信度的预测上,并覆盖学生本已正确的先验。
- 被 NeurIPS 2026 接收的 CaRE-KD 让学生自己决定何时信任教师:
- token 级:置信度门控根据教师确定程度,在 mean-seeking 与 mode-seeking 散度之间切换;
- 序列级:拒绝机制丢弃教师在认知上不如学生可靠的更新。
- 预印本已发布。
「研究」频道最新
- BoSS 基准发布:18 万+ 仿星器模拟数据助推生成式模型 — ZhongingAlong · 2026-11-13
- 掉进太阳会发生什么:NASA 数据还原从光球层到核心的全过程 — aakashgupta · 2026-11-13
- 用 Lean 验证 Michael Levin 生物电理论:数学成立率 88%,「柏拉图」成分得 0% — ProfBuehlerMIT · 2026-11-13
- Carl Edwards 提出 AssayBench:让模型学习下一个该做什么实验 — kchonyc · 2026-11-13
- Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著 — stochasticchasm · 2026-11-13
- 分析 135 次模型发布:AI 实验室几乎不共享安全基准,最高仅半数报告 — ChenhaoTan · 2026-11-13