OpenThoughts发现：同族教师模型训练效果显著优于跨系列
willccbb · x · 2026-07-07
研究者援引 OpenThoughts 项目结论指出，在强化学习训练中，使用与学生模型同族的教师模型（MOPD）效果显著优于跨系列教师模型（OPSD）。具体案例：QwQ（Qwen 系列）作为 Qwen2.5-7B 的教师，效果明显优于 DeepSeek-R1。这一发现对小模型蒸馏与训练策略选择有重要指导意义。
willccbb · x · 2026-07-07
研究者援引 OpenThoughts 项目结论指出，在强化学习训练中，使用与学生模型同族的教师模型（MOPD）效果显著优于跨系列教师模型（OPSD）。具体案例：QwQ（Qwen 系列）作为 Qwen2.5-7B 的教师，效果明显优于 DeepSeek-R1。这一发现对小模型蒸馏与训练策略选择有重要指导意义。