研究发现知识蒸馏在 mid-training 阶段牺牲事实记忆换推理
LukeZettlemoyer · x · 2026-09-16
Luke Zettlemoyer 转发其团队的 arXiv 论文（[2609.01532]），系统研究了 logit-based 知识蒸馏（KD）在不同训练阶段的效果差异：
- 核心发现：forward KL 蒸馏在预训练阶段能同时提升推理与事实记忆（相比标准 next-token prediction），但在 mid-training（在精选语料上的自监督中间阶段）却会在推理继续提升的同时拖慢事实记忆的习得。
- 机制解释：教师在程序性数据上比知识密集型数据上更自信，而学生在训练早期就先学到低熵的事实知识，这种不对称导致 mid-training 阶段蒸馏失真。
- 提出的解法：Switch Distillation——以教师预测熵作为轻量路由信号，只在教师自信的 token 上蒸馏，其余回退到交叉熵，缓解该取舍。
论文作者来自 UW/AI2/Meta 等，含 Pang Wei Koh、Luke Zettlemoyer、Wen-tau Yih。对做小模型 mid-training 的团队有直接参考价值。
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02