Nat Lambert 澄清大模型蒸馏误区

针对外界关于中文实验室在强化学习中直接拿最强模型当老师的说法，Nat Lambert发文反驳，指出这并非蒸馏的实际运作方式。他强调，蒸馏真正发挥关键作用的阶段主要在监督微调（SFT）和中训期，而不应被视作强化学习阶段带来神奇增益的手段。

2026-07-21 ~ 2026-07-22 · 2 条相关

• Nat Lambert 反驳 RL 蒸馏直接用最强模型当老师 — natolambert · 2026-07-21
• Nat Lambert 认为蒸馏主要在 SFT 和中训阶段起作用 — natolambert · 2026-07-22