小模型微调实战指南:30B 起步,蒸馏优先于 RL
一段推文线程讨论为自有数据训练小模型的实操建议:不必使用通用大 LLM,通用需求从 30B 左右起步即可,仍可在单张 GPU 上运行,做 LoRA 实验成本不高。在训练方法上按简单程度排序:技能蒸馏最简单方便,其次是 SFT,最后是对模型蒸馏加 RL,此外还可叠加量化、路由等手段。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 小模型微调实战建议:30B 起步单卡可跑,LoRA 实验成本低 — ziv_ravid · 2026-11-19
- 小模型训练方法排序:技能蒸馏最简单,SFT 次之,RL 收尾 — ziv_ravid · 2026-11-19