微软新研究：弱模型相减提取能力，8B 学生模型反超专家

theomitsa · x · 2026-08-02

微软近期发表的一篇新论文提出了一种全新的后训练与蒸馏思路，旨在解决当前前沿学生模型缺乏更大教师模型可借鉴的瓶颈。

核心方法是不再依赖庞大的教师模型，而是取两个较小的弱模型（例如 4B 的 RL 模型与其未经 RL 的基础模型），通过计算它们 logits 的差值，来精准分离出需要增强的“能力方向”。

将这一信号反馈给 8B 的学生模型后，该模型在数学和代码任务上的表现，最终超越了原本指导它的领域专家模型。这种做法以极低的算力成本成功激发了模型的潜在能力，对从事蒸馏与强化学习的研究者很有启发。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →