CQ 4-bit 量化训练平台开源:QLoRA 验证损失比 Unsloth 低 17%
textclf · reddit · 2026-10-28
开发者发布开源平台 Training Factory,主打对 4-bit 量化模型做 QLoRA 微调以降低 GPU 成本,核心是自研的免校准量化方法 CQ(Coded Quantization)。
作者给出的对比数据(Qwen 3.8 27B,Wikitext-2):
- 量化质量:CQ 4-bit 平均 KLD 0.0282,优于 Unsloth 的 unsloth-bnb-4bit(0.0330),且磁盘占用更小(18GB vs 22.4GB)
- QLoRA 训练对比:在 Alpaca 数据集、单张 A40 48GB、相同超参下,CQ 4-bit 最终验证损失 1.0315,比 Unsloth NF4(1.2484)低约 17.4%,峰值显存相当
- 短板:训练速度明显落后(每优化步 27.6 秒 vs Unsloth 3.2 秒),作者正重点优化;作者也注明未做独立下游任务质量验证
平台提供从下载 CQ 4-bit 基座、训练 LoRA 适配器到 vLLM 量化推理服务的完整流程。
所属事件:ThousandML 开源 4-bit CQ 量化微调平台，损失低于 Unsloth(2 条相关)→
「Infra」频道最新
- AMD 团队详解 warp-pipelining：Triton GEMM 在 MI300/350/450 上追平手写汇编 — xiaosun86 · 2026-10-28
- Google TPU 首次登陆外部云：Oracle Cloud 宣布接入 — SumitGup · 2026-10-28
- Ben Bajarin:自建训练集群让 Meta 能更高频迭代模型变体 — BenBajarin · 2026-10-28
- Google 反爬机制适得其反:SEO 工具为洗掉毒化结果多爬 3 倍 — gaganghotra_ · 2026-10-28
- 英特尔高管问各家 Agent 用什么 CPU:EPYC 撑 Meta Muse 与 OpenAI dots — ryanshrout · 2026-10-28
- CoreWeave 建首个 AI 专用全球骨干网：51 座数据中心、Q4 扩至亚太中东 — OnlineInference · 2026-10-28