LLM 量化详解:位宽不等于精度,4-bit 也不等于 4 倍提速

techNmak · x · 2026-10-19

techNmak 发布长推并配信息图,系统讲解 LLM 量化的工程决策,核心结论是:位宽本身不决定精度、显存或速度。

要点

量化对象:权重、激活值和 KV cache,三者精度是独立选择;W4A16 指 4-bit 权重 + 16-bit 激活。
格式与粒度:INT4/INT8、FP4、FP8、NF4(非均匀码本)在同位宽下误差不同;per-tensor/per-channel/per-group 的 scale 粒度越细误差越小,但增加元数据与 kernel 约束;离群值是误差关键。
算法:GPTQ 用近似二阶信息补偿权重量化误差;AWQ 借激活统计保护显著权重通道;SmoothQuant 把量化难度在激活与权重间重分配以实现 W8A8。
训练路线:PTQ(训练后量化+校准)、QAT(伪量化参与训练)、QLoRA(冻结 4-bit 基座、只训低秩适配器)。
显存算账:8B 权重 FP16 为 16 GB,INT4 打包 + 每 128 权重一个 FP16 scale 共约 4.125 GB;KV cache、激活与临时缓冲另算。
存储 ≠ 计算:W4A16 的矩阵乘通常仍先解包/反量化再做 FP16/BF16 运算,实际加速取决于 kernel 支持、反量化开销、显存带宽、batch size 与负载。
评测:应同时测 held-out 任务精度和服务性能(TTFT、每 token 时延、吞吐、峰值显存),4-bit 模型并不会自动快 4 倍。

「Infra」频道最新