定制模型从 30B 起步:单卡能跑、支持 LoRA
ziv_ravid · x · 2026-11-20
Ziv Ravid 长帖第 11-12 条:各种定制场景的共同思路是,用比巨头模型更小更高效的模型在自己的数据上训练。如果要 LLM,建议从 30B 起步——单张 GPU 即可运行,也支持 LoRA 微调。此外还有专攻 agentic 任务的小模型,任务集有限的 agent 可以交给它们处理。
「编程与Agent」频道最新
- NormGym 基准发布:Agent 难从他人行为中学到社交规范 — xuanalogue · 2026-11-20
- Every 全公司推行「复合工程」,代码库随功能增加反而更好维护 — every · 2026-11-20
- Agent 不必用通用 LLM:专用小模型按任务类型选型 — ziv_ravid · 2026-11-20
- 训练前先验证信号:技能蒸馏预检法判断数据值不值得训 — ziv_ravid · 2026-11-20
- 微调迭代心法:清数据比调超参更管用 — ziv_ravid · 2026-11-20
- 分类任务别硬上 LLM:分类模型加文本编码器更合适 — ziv_ravid · 2026-11-20