小模型训练方法排序:技能蒸馏最简单,SFT 次之,RL 收尾

ziv_ravid · x · 2026-11-19

推文线程片段回答「到底怎么训练」:按简单程度排序,技能蒸馏(skill distillation)被认为最简单方便,其次是 SFT,最后是对模型蒸馏加 RL。此外还可叠加量化、路由(routing)、剪枝(pruning)、缓存等大量优化手段。

所属事件:小模型微调实战指南:30B 起步,蒸馏优先于 RL(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →