基于 GGUF 的 LoRA 训练把 Qwen3.5-35B-A3B 装进 16GB 显存
woct0rdho · reddit · 2026-07-21
一个 GitHub 项目演示了如何用 GGUF 作为基座格式，在 16GB 显存里训练 Qwen3.5-35B-A3B 的 LoRA。作者认为 GGUF 正在取代 bitsandbytes 成为低显存训练的更好底座，因为它能支持 MoE、线性注意力和新量化类型；配合 APEX quant，这个模型可压到 13.3 GiB，并通过 fused dequant-matmul/MoE kernel 跑通训练。在 Strix Halo 上，作者称 batch size 1、2048 token chunk、LoRA rank 4 时可达到 6.5 s/it，另一个副产物是提供这些 kernel 的 PyTorch 绑定 torch-ggml-ops。
「Infra」频道最新
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
- Lam Research：18 个月内周均 token 用量暴涨约 250 倍 — Beth_Kindig · 2026-10-27
- AWS 官方教程:用 CDK 在 Bedrock 上搭建企业级 Agentic RAG 检索 — AWS ML Blog · 2026-10-27
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27