Meta 提出 Switch Distillation:中训练蒸馏保推理不伤事实回忆
meta · hf · 2026-09-03
- Meta 发布研究,提出 Switch Distillation:在中训练(mid-training)阶段,依据教师模型的置信度选择性地应用基于 logit 的知识蒸馏。
- 目标与结论:该方式可在蒸馏给小模型时改善推理能力,同时保留事实性回忆(factual recall),缓解了蒸馏过程中「推理收益、事实损失」的权衡。
所属事件:知识蒸馏中训阶段存偏科风险，Meta 提出 Switch Distillation 缓解(2 条相关)→
「研究」频道最新
- Boaz Barak 谈 CoT：在验证替代方案前放弃是不负责任的 — inductionheads · 2026-09-03
- 开发者曾尝试用 Puzzlescript 构建 AI 基准测试，类似 ARC-AGI-3 — Darpinian · 2026-09-03
- 隔离 1996 年前文献，造出一个「克隆版 Milhaupt 教授」当顾问 — KarlMuth · 2026-09-03
- induction heads 算不算 LLM 的全新能力？研究者在线激辩 — aryaman2020 · 2026-09-03
- 回应质疑：induction heads 等发现是否算 LLM 算法洞见之辩 — aryaman2020 · 2026-09-03
- 反事实调试方法将世界模型 sim2real 故障定位扩展到百万步 — sarahcat21 · 2026-09-03