ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4%
textclf · reddit · 2026-10-26
作者发布 ThousandML 微调平台，主打用自研的无校准 4-bit 量化 CQ（Coded Quantization）做 QLoRA 微调以降低 GPU 成本。在 Qwen3.8-27B 上与 Unsloth 使用的 unsloth-bnb-4bit 对比 Wikitext-2 的 KLD：CQ 4-bit 各项指标均更优（mean KLD 0.0282 vs 0.0330，Top 1% Agreement 92.4%），且磁盘占用更小（18GB vs 22.4GB）。QLoRA 训练基准（Alpaca，LoRA r=32，单张 A40 48GB，500 步）显示 CQ 最终验证损失 1.0315 vs 1.2484，低 17.4%，且似乎收敛所需步数更少；但速度明显落后（稳态步时 27.6s vs 3.2s），作者正在优化。帖子附完整上手流程：clone 安装、下载 CQ 4-bit 基座、训练 LoRA、用 vLLM 以 --quantization cq 挂载 adapter 并调用。作者提醒这仅是损失对比，尚未做下游任务质量验证，tokenization 与 loss-mask 等价性也未独立核实。
「Infra」频道最新
- Anthropic工程师确认Claude Code缓存命中率已高，缓存节省落地 — teortaxesTex · 2026-10-26
- 六个月赌局：混合部署胜过全面本地化，按任务拆分模型才省钱 — yi111 · 2026-10-26
- Deco 论文把推荐模型「思考」与「拼写」解耦，吞吐提升至 8.6 倍 — _reachsumit · 2026-10-26
- 预算 4000-5000 美元想本地跑 AI 视频生成，求购机建议 — dewsphere · 2026-10-26
- OpenAI 与 Anthropic 数月内降价至多 80%,token 单价跌至 43 — Azer_pubes33 · 2026-10-26
- GPU 租赁价格按代际分化：B300 一周涨 8.6%,A100 仅涨 2% — AccBalanced · 2026-10-26