小模型微调实战建议:30B 起步单卡可跑,LoRA 实验成本低

ziv_ravid · x · 2026-11-19

一段 Hebrew 推文线程片段讨论为自己的数据训练小模型:不必用通用大 LLM,通用需求从 30B 左右起步即可——仍能跑在单张 GPU 上,做 LoRA 实验成本不高。另有专门针对 agent 任务训练的小模型正在成为热门方向,如果 agent 任务集有限,可以交给这类专精模型,视觉领域也有类似做法。

所属事件:小模型微调实战指南:30B 起步,蒸馏优先于 RL(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →