基于 GGUF 的 LoRA 训练把 Qwen3.5-35B-A3B 装进 16GB 显存
woct0rdho · reddit · 2026-07-21
一个 GitHub 项目演示了如何用 GGUF 作为基座格式，在 16GB 显存里训练 Qwen3.5-35B-A3B 的 LoRA。作者认为 GGUF 正在取代 bitsandbytes 成为低显存训练的更好底座，因为它能支持 MoE、线性注意力和新量化类型；配合 APEX quant，这个模型可压到 13.3 GiB，并通过 fused dequant-matmul/MoE kernel 跑通训练。在 Strix Halo 上，作者称 batch size 1、2048 token chunk、LoRA rank 4 时可达到 6.5 s/it，另一个副产物是提供这些 kernel 的 PyTorch 绑定 torch-ggml-ops。
「Infra」频道最新
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27
- MiniBot 2.40 新增 xAI、HF Studio 和 vLLM 支持 — Creative-Type9411 · 2026-07-27
- 苹果智能眼镜、英伟达SK合作与携程51.79亿罚单汇总 — APPSO · 2026-07-27
- DeepSeek 融资传闻、欧盟 AI 透明度规则与 OpenAI 安全事故 — 创业邦 · 2026-07-27
- QuixiCore 主张原生量化内核取代先反量化再执行 — QuixiAI · 2026-07-27