研究称策略蒸馏传递推理行为 同源弱师胜异源强师

最新研究深入分析了大模型在线策略蒸馏(OPD)的传递机制，发现学生模型主要复制的是教师的推理行为而非具体答案或知识内容。实验显示，即使教师从未解决过某问题，其推理过程仍能指导学生，训练难度影响微弱；且与教师同源的同族弱教师，效果反而优于异源的强教师。这意味着教师的模型谱系（血统）比基准测试分数更为重要，为蒸馏实践中教师模型的选择提供了新依据。

2026-08-30 ~ 2026-08-30 · 3 条相关