Unsloth 实现低显存本地训练决策模型

Unsloth 团队宣布可将 Qwen、Gemma、Llama 等开源大模型微调为「决策模型」(如 Jev),仅需 3-4GB 显存即可在本地完成训练。他们采用 Clef head 加 LoRA(r=64)的方式,对 Qwen3.5 0.8B 微调一个 epoch,在 3 个决策基准上将准确率从 20.7% 提升至 74.3%,另一案例中准确率从约 30% 提高到 78%,大幅降低了决策模型训练门槛。

2026-10-08 ~ 2026-10-08 · 2 条相关

• Unsloth 用 4GB 显存把 Qwen3.5 0.8B 决策准确率从 20.7% 提到 74.3% — kalyan_kpl · 2026-10-08
• 3GB 显存本地训决策模型:Unsloth 将准确率从 30% 提到 78% — evilsocket · 2026-10-08