Training Factory 开源：QLoRA 微调 4-bit 量化模型省 GPU 成本

textclf · reddit · 2026-10-21

Reddit 用户发布了开源平台 Training Factory，主打对 4-bit 量化模型做 QLoRA 微调以大幅降低 GPU 成本，底层采用其自研的免校准量化方案 CQ（Coded Quantization），称效果媲美主流量化方法。

帖子给出从安装到服务的完整五步流程：克隆仓库安装、下载 CQ 4-bit 基座（如 Qwen3.8-27B-CQ-4bit）、用 train.py 训练 LoRA 适配器、通过 vLLM 以 --quantization cq --enable-lora 同时服务基座与适配器、最后调用微调后的适配器。目前提供 Qwen3.8-27B、Llama-3.1-8B、Llama-3.3-70B、Qwen3-Coder-Next 四个 4-bit 基座。