华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23%
acluk90 · reddit · 2026-11-12
华为 CSL 团队开源了模型无关校准量化方法 MACaQ（Model Agnostic Calibrated Quantization），支持文本/图像/音频/视频/3D，兼容 llama.cpp、vLLM 与 Diffusers。
实测对比（IQ4XS GGUF，同体积）：
- Qwen3-4B：平均 KL 散度比 Unsloth 低 23.5%、比 Bartowski 低 18.6%
- Qwen3.8-27B：比 Bartowski 低约 65%（0.0368 vs 0.1042）
- 支持 IQ2 到 IQ4 全系列格式，并覆盖 vLLM 生态
- 另外官方报告用 32.5GB 显存在 64 分钟内完成 122B 模型量化
代码、llama.cpp fork 与基准已开源在 GitHub。
所属事件:华为开源模型无关校准量化方法 MACaQ(2 条相关)→
「Infra」频道最新
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12
- Dell 扩展 AI Data Platform：AI Agent 的瓶颈是数据上下文而非模型 — DavidLinthicum · 2026-11-12