华为 MACaQ:变换留在层内,W4A4 量化快 11 倍、在线开销 2.3%

MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang, Jiawei Zhuang, Lukas Cavigelli

cs.LG

2026-11-07

W4A4 量化把基变换留在层内在线算:仅多 2.3% 推理开销、快 11 倍且困惑度更低,122B 模型 64 分钟量化完。

这篇在解决什么

W4A4(权重和激活都压到 4 比特)是 LLM 推理降本的主流路线,难点在激活里少数幅度特别大的离群通道,直接就近取整,误差大到模型不可用。近两年的通行解法是换基:用 Hadamard 旋转把离群能量摊平到所有通道,再配逐通道缩放平衡权重和激活的量化难度。

麻烦出在激活侧的变换。推理时在线算有开销,QuaRot、DuQuant++ 这类方法就把它往上游推,吸收进前一层的归一化参数或相邻投影。层与层从此耦合:动一个线性层可能牵动 norm、残差分支、注意力投影,每种新架构都要重新做工程适配,有些架构里压根找不到吸收位置,量化过程也因层间依赖变慢。

MACaQ(华为瑞士计算系统实验室)反着选:变换留在本层在线算,接受这一步开销,换每个线性层完全独立。

方法

MACaQ 是训练后量化(post-training quantization),对每个线性层独立走四步,目标与 GPTQ 相同:最小化该层的输出重构误差。

先缩放再旋转,因为通道重要性加权必须在未旋转的域里做。量化本身是流式的:hook 收集完每层 Hessian 后逐层处理,任一时刻只有当前层在 GPU 上,其余权重留在主机内存。开销有闭式上限:在线变换与矩阵乘的运算量之比是 3/m(m 为输出维度),Llama-3-8B 最小的线性层 m=1024,比值不到 0.3%。

结果

Llama-3-8B,MXFP4 W4A4:

方法Wiki2 pplC4 ppl
FP166.149.46
MR-GPTQ7.1311.37
DuQuant++ (GPTQ)7.1711.66
MACaQ6.908.61

MACaQ 做到 6.90 只要约 150 秒;扫校准 token 数与翻转预算,它用 1/11 的时间追平 DuQuant++ 和 MR-GPTQ 的最好成绩,Qwen3-32B 和 Qwen3.5-35B-A3B 上同样拿到表中最优。生成任务互有胜负:Qwen3-32B 的 IFEval 83.20%(FP16 为 83.60%),MATH-500 97.26%,这一列 MR-GPTQ 的 97.44% 略高;Qwen3.5-35B-A3B 的 IFEval 85.42% 比 FP16 的 85.29% 还高一点。

速度上,Qwen3-32B 在 vLLM 里 batch 1 解码 69.8 tok/s,FP16 是 22.8,3.06 倍;batch 256 为 5252.8 对 3061.5 tok/s。在线变换的端到端开销随模型增大递减:0.6B 约 8%,32B 时 2.3%。kernel 级对比中,计算密集场景还快过 Marlin。

两个通用性实验最硬。FLUX.2-klein-4B 扩散模型零架构改动量化线性层,对 BF16 原模型的 PSNR(15.04 对 14.85)、LPIPS(0.218 对 0.235)与 DINOv3 相似度全部优于官方 NVFP4 量化版,还少用 0.25 比特、显存更低(13.1 对 13.3GB)。Qwen3.5-122B-A10B 的 FP16 权重约 244GB,MACaQ 在单张 96GB 卡上流式量化:峰值显存 32.5GB,64 分钟完成,Wiki2 困惑度 5.14(FP16 为 5.06),产物 74GB,同一张卡能跑。消融显示四个组件贡献量级相近:RTN 8.28 → 指数搜索 8.09 → 旋转 7.65 → 在线缩放 7.08 → Flip-Refinement 6.87。

为什么重要

这篇拆掉了「换基必须跨层传播」的默认假设。2.3% 的开销买到三样东西:新架构零适配,扩散模型直接量化成功是最硬的证据;逐层流式量化,单张 96GB 卡能处理 122B 模型;所有线性层都能用上变换,吸收式方法在部分架构里做不到最后这一点。

跟 GPTQ 系按固定顺序逐权重赋值相比,Flip-Refinement 从 RTN 出发增量修正、行级并行,11 倍量化加速主要来自这里。Triton kernel 已进 vLLM,代码开源,W4A4 部署的落地门槛很低。

局限与存疑

作者自列的:开销分析只算算术量,实测取决于 kernel 融合与访存;小模型不划算,0.6B 约 8%;质量在 200 万校准 token、512 次翻转后趋平,默认配置(20 万 token、128 次)是拿质量换时间。

疑点:Llama-3-8B 的 C4 困惑度 8.61 比 FP16 的 9.46 还低,领先最强基线近 3 个点,量化模型在分布外数据上反超全精度,论文没有解释机制,这个数字值得复核。α、λ 在 Llama-3-8B + WikiText 上调出,换模型族和校准集的迁移没有消融。MoE 模型只量化专家层,embedding 与 lm-head 保留高精度,离整模型 4 比特还有距离。基线耗时是作者在同一硬件上复测的,11 倍这个数取决于各家基线是否被调到最优。

术语

原文与代码

社区讨论

相关论文

全部论文解读