小模型微调实战指南:30B 起步,蒸馏优先于 RL

一段推文线程讨论为自有数据训练小模型的实操建议:不必使用通用大 LLM,通用需求从 30B 左右起步即可,仍可在单张 GPU 上运行,做 LoRA 实验成本不高。在训练方法上按简单程度排序:技能蒸馏最简单方便,其次是 SFT,最后是对模型蒸馏加 RL,此外还可叠加量化、路由等手段。

2026-11-19 ~ 2026-11-19 · 2 条相关