CQ 4-bit 量化持平 BF16，NF4 在 GSM8K 掉 12 分
textclf · reddit · 2026-11-14
作者在 Qwen3.8-27B 上用统一的 lm-evaluation-harness、贪心解码和配对统计检验（McNemar + bootstrap），重新对比其免校准 4-bit 格式 CQ 与 bitsandbytes NF4，回应此前“两个 trainer 的 loss 不可比”的质疑。
主要发现
- CQ 4-bit（18 GB）vs BF16：9 项任务均无显著差异；NF4（22.4 GB）vs BF16 在 GSM8K 掉 12.0 分（p=3e-6），CQ 比 NF4 高 8.7 分（p=0.0005）。
- GCMP（LoRA 替代）：仅训练 2.9M 参数（约 11 MB），对比 LoRA r=32 的 159M（约 320 MB），在所有 benchmark 上无显著差异，answer loss 和验证 loss 略低；两种 adapter 均使 GSM8K 提升 21 分、TruthfulQA 降约 2.5 分。
- 速度：GCMP 步时约为 LoRA 的 2 倍，Unsloth NF4 仍最快，内核优化进行中。
- 服务：vLLM 支持 --quantization cq，GCMP adapter 可按请求切换；pipeline parallel 可用、tensor parallel 暂不支持。
Caveats：仅测一个模型和一个数据集（Alpaca）；快速子集每任务 200–1140 题，只能检测约 5 分差异；作者承认早前 "0.84 vs 1.25 loss" 的对比因 trainer 计算方式不同而无效。训练/评测/vLLM 集成代码开源，CUDA 内核编译分发、早鸟期免费，仓库含复现每个数字的完整命令。
「Infra」频道最新
- SGLang 峰会分享：NVFP4 4-bit 低精度 RL 千卡实战经验开源 — ericzelikman · 2026-11-14
- Anthropic IPO 路演页泄露，网友推测 V4.1F 用 Blackwell 训练被拉黑 — teortaxesTex · 2026-11-14
- 《纽约客》访谈称 AI 是暴力穷举问题，将「烧毁地球」 — kevinnbass · 2026-11-14
- 联想官宣混合词元工厂：15000P 集群年产 2000 万亿 Token，绿电进词元出 — 量子位 · 2026-11-14
- Rust 全栈推理引擎 LexiSuite 实测:262k 长上下文快 17-25% — W61k3r · 2026-11-14
- 韩国芯片出口日均稳在 22 亿美元,DRAM 涨价 5.5% 或暗示供给见顶 — tengyanAI · 2026-11-14