华为开源模型无关校准量化方法 MACaQ

华为 CSL 团队开源了模型无关校准量化方法 MACaQ,可将权重与激活量化到 MXFP4 W4A4 低精度,支持文本、图像、音频、视频及 3D 等多模态模型。该方法对每个线性层独立量化,兼容 llama.cpp 与 vLLM 推理框架。官方数据显示其 KL 散度比 Unsloth 低 23%,在低精度量化下更好地保持了模型输出分布。

2026-11-11 ~ 2026-11-12 · 2 条相关

• 华为发布 MACaQ：MXFP4 W4A4 量化方法，兼容 llama.cpp 与 vLLM — huawei-csl · 2026-11-11
• 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12