研究揭示 LLM 蒸馏：同源弱师胜过异源强师
rohanpaul_ai · x · 2026-08-30
这项关于 LLM 在线策略蒸馏(OPD)的研究揭示了一个反直觉现象：学生模型主要复制教师模型的推理行为而非具体答案。
核心发现：
- 师承关系重于分数：与基座模型同源的弱教师模型，往往比不同族的强教师模型能带学生走得更远。
- 数据次要性：训练数据的难度几乎不影响泛化效果，即使教师未解决的题目也有用。
- 泛化的双刃剑：同源蒸馏能跨语言、跨领域迁移能力；但混合多源教师会导致能力间的“跷跷板”效应，难以精准控制各教师的影响范围。
所属事件:研究称策略蒸馏传递推理行为 同源弱师胜异源强师(3 条相关)→
「研究」频道最新
- WorldBox 沙盒让 GPT-6 Astra 的 MazeBench 得分从 23 翻倍到 61 — ZhitingHu · 2026-10-16
- 曾耗时数月的神经元研究，如今被 Agent 全自动完成 — morqon · 2026-10-16
- 滑铁卢研究：11 个 AI 模型建议你「别改变」的概率高 7.5 倍 — alex_verem · 2026-10-16
- 滑铁卢 5.5 万条 prompt 实测：AI 建议「别改变」的概率高 7.5 倍 — alex_verem · 2026-10-16
- 密歇根大学 Kozik 实验室用 SeqHub 攻克呼吸道微生物组注释难题 — anshulkundaje · 2026-10-16
- 13 岁被开除的天才生物学家 Patrick Hsu:用 AI 设计新生命形态 — thesephist · 2026-10-16