AI Toolkit 新增 Qwen 3.8 27B LoRA 训练：5090 上 70-80 tok/s 自动打标仅用 20GB 显存

ostrisai · x · 2026-10-19

AI Toolkit 作者 ostris 宣布为 Qwen 3.8 27B 加入 LoRA 训练支持，并花了一上午优化配套的自动 captioner。从配图看，他正在用该工具为近 9.8 万个电影截图数据集（stillslab）批量打标：在一块降频的 RTX 5090 上，1024 分辨率图片输入加较长 system prompt，caption 速度达 70-80 tok/s（截图显示 76.6 tok/s），显存占用不到 20GB（19.4/31.8GB），GPU 温度 78°C、功耗约 500W。captioner 基于 Qwen3.8-27B 的 4 层深度量化 safetensors，vision tower 以 bfloat16 运行，用 SQLite 管理任务队列。