8B 模型为何可从 16GB 缩至 4GB？一文读懂量化原理

techNmak · x · 2026-08-16

模型量化通过减少表示每个参数的比特数来大幅降低显存需求。例如 8B 模型在 BF16 下需约 16GB，而在 4-bit 量化下仅需约 4GB。其核心是用缩放因子将浮点权重映射为低精度整数或低精度浮点数，以牺牲部分精度换取存储空间。

文章还厘清了术语差异：GPTQ/AWQ 是量化方法，INT4/FP4 是数值格式，GGUF 是文件格式。量化不仅涉及权重，还涉及激活值和 KV Cache，后者在长上下文中占据大量显存。