开源量化方案 KQuant 让 Qwen 系列 MLX 量化最高逼近 3.7 倍
m4rkGS · reddit · 2026-11-12
Nace 团队的 ML 工程师 Alish 发布开源量化技术 KQuant，为 Qwen 系列模型提供比社区 4-bit 量化更贴近原模型的 MLX 量化包，已上架 Hugging Face（4B/9B/27B/35B/Flash-Next），并称这是 Mac 上跑 35B/27B 的最快方式（配合其开源运行器 Kapitsa）。
关键数据（以 KL 散度衡量与全精度模型的距离，越低越好）
- Qwen3.8-Flash-Next：KL 0.067 vs 公共 4-bit 0.249，好 3.7 倍且体积还小 5GB（105.2GB）。
- Qwen3.5-9B：0.030 vs 0.081，好 2.6 倍；4B 好 1.45 倍；27B 好 1.5 倍；35B-A3B 好 1.6 倍。
- 各模型另提供 Q5 版本（如 9B Q5 KL 低至 0.010）。
- 速度：在 M5 Pro 上配合 Kapitsa 的 KFlash drafter，Q4 写出速度比公共 4-bit 快约 6–15%。
方法：用真实文本搜索每组权重的 scale 和 offset，敏感层额外分配比特，搜索在云端 GPU 集群完成后发布；产出标准 MLX 文件，无需自定义内核或加载器。GGUF 版本将随后推出，作者在帖内开 AMA 并征集 GGUF 早期测试者。
「Infra」频道最新
- TinyTapeout 揭秘芯片出厂前如何做工厂测试与数据更新 — Obijuan_cube · 2026-11-12
- MIT Han Lab 等发布 Agent 自适应推理框架，延迟较 NVIDIA Dynamo 降 4.1 倍 — mit-han-lab · 2026-11-12
- 特斯拉去年部署 46.7 GWh 储能电池，占全球新增总量超 15% — XFreeze · 2026-11-12
- 百度昆仑芯 M100 如期出货，M300 定于 2027 年发布 — Baidu_Inc · 2026-11-12
- Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍 — bendee983 · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12