小模型微调实战建议:30B 起步单卡可跑,LoRA 实验成本低
ziv_ravid · x · 2026-11-19
一段 Hebrew 推文线程片段讨论为自己的数据训练小模型:不必用通用大 LLM,通用需求从 30B 左右起步即可——仍能跑在单张 GPU 上,做 LoRA 实验成本不高。另有专门针对 agent 任务训练的小模型正在成为热门方向,如果 agent 任务集有限,可以交给这类专精模型,视觉领域也有类似做法。
所属事件:小模型微调实战指南:30B 起步,蒸馏优先于 RL(2 条相关)→
「编程与Agent」频道最新
- Hermes 适配器实战演示:35 次工具调用解出基础模型搞砸的 SWE-Bench Pro 任务 — yb2698 · 2026-11-19
- NousResearch 发布 Qwen3.8-27B Hermes 适配器:SWE-Bench Pro 29.4%→43.1%,token 省 3.5 倍 — yb2698 · 2026-11-19
- 一条 EBS gp3 命令让 Weaviate 千万向量索引查询性能提升 26 倍 — philipvollet · 2026-11-19
- Human Principal 开启内测:用密码学证明 AI agent 背后是真人 — yenkel · 2026-11-19
- 纯代码生成 3D 场景:GPT-6.2 十几分钟搭出深海文明小城 — OpenAIDevs · 2026-11-19
- 设计师被当「室内装修工」:taste.md 只管美学不管架构是头猪涂口红 — round · 2026-11-19