NeurIPS 论文 CaRE-KD:让学生模型学会何时该信任蒸馏教师
Tanmoy_Chak · x · 2026-10-03
- 知识蒸馏中教师模型会幻觉,标准 KD 却强制学生照搬,把概率质量浪费在教师嘈杂、低置信度的预测上,并覆盖学生本已正确的先验。
- 被 NeurIPS 2026 接收的 CaRE-KD 让学生自己决定何时信任教师:
- token 级:置信度门控根据教师确定程度,在 mean-seeking 与 mode-seeking 散度之间切换;
- 序列级:拒绝机制丢弃教师在认知上不如学生可靠的更新。
- 预印本已发布。
「研究」频道最新
- Loopback 架构用 75% 参数追平 3B 标准 Transformer 性能 — pbaylies · 2026-11-23
- RoboQuest 基准:最强模型具身探索任务仅完成 23.2% — omarsar0 · 2026-11-23
- AI 数学蜂群新成果:962 变量四次多项式被证明已是最优 — gleech · 2026-11-23
- AI 数学证明后的阐释整理工作,已因 OpenAI 准黎曼结果泛滥? — gleech · 2026-11-23
- CMU 发布 ExploitBench:把 LLM 网络攻击能力做成「阶梯」评测 — goyal__pramod · 2026-11-23
- 哈佛论文:SWE-Bench 更高分的编码模型并未干更多活 — rohanpaul_ai · 2026-11-23