imitation 不是越多越好：熵感知蒸馏让小模型泛化更强、遗忘更少
valentina__py · x · 2026-10-12
新论文《Learning What to Imitate: Entropy-Aware Distribution Mixing》提出：强迫小模型逐 token 模仿更强的教师模型可能适得其反。
- 核心方法：让学生模型自身的不确定性决定每个 token 模仿教师了多少——即在学生分布与教师分布之间做熵感知的逐 token 混合。
- 收益：更强的泛化能力，更少的灾难性遗忘。
- 论文与代码均已开源（作者含 Imanol Schlag、Antoine Bosselut 等）。
「研究」频道最新
- 机器学习复核历史底片:神秘瞬变源与核试验时间强相关 — coherence · 2026-10-13
- 开发者把 EmbeddingGemma 2 改造成语音转文字，M3 上 13 秒转录 1 小时音频 — solyarisoftware · 2026-10-13
- 用模拟测试 AI Agent：重放真实生产流量，50 个精选胜过千个随机 — HamelHusain · 2026-10-13
- Lanyon 用神经符号架构复现 Z-pinch 香肠不稳定性物理机制 — CatAstro_Piyush · 2026-10-13
- 斯坦福等提出无状态智能体 SLA,追平最强基线省 14.5 倍 token — RulinShao · 2026-10-13
- Google DeepMind 论文：自主科研瓶颈在验证资源，需设计智能体经济 — sebkrier · 2026-10-13