AI Toolkit adds LoRA training for Qwen 3.8 27B: 70-80 tok/s captioning under 20GB VRAM on RTX 5090
ostrisai · x · 2026-10-19
AI Toolkit 作者 ostris 宣布为 Qwen 3.8 27B 加入 LoRA 训练支持，并花了一上午优化配套的自动 captioner。从配图看，他正在用该工具为近 9.8 万个电影截图数据集（stillslab）批量打标：在一块降频的 RTX 5090 上，1024 分辨率图片输入加较长 system prompt，caption 速度达 70-80 tok/s（截图显示 76.6 tok/s），显存占用不到 20GB（19.4/31.8GB），GPU 温度 78°C、功耗约 500W。captioner 基于 Qwen3.8-27B 的 4 层深度量化 safetensors，vision tower 以 bfloat16 运行，用 SQLite 管理任务队列。
More from Infra
- Hugging Face kicks off Open Source AI Week with ExecuTorch edge-AI hackathon — Thom_Wolf · 2026-10-19
- Local models are now good enough for first-round code review, dev finds while paying frontier API prices — draginol · 2026-10-19
- Dev replaces hundreds/month in Modal sandboxes with an idle Mac Mini at home — andersonbcdefg · 2026-10-19
- TensorFold 1.1.0 hits 3,962 tok/s prefill at 205k ctx on M5 Ultra — GabGarrett · 2026-10-19
- For 4B-12B models, NPU solutions beat gaming laptops on cost — draginol · 2026-10-19
- RTX Spark runs 27B models well, but gaming laptops lose out for local AI — draginol · 2026-10-19