实测 Qwen 27B 16 种量化方案：GGUF 质量与体积权衡最优

Hefty_Wolverine_553 · reddit · 2026-08-11

一位开发者对 Qwen3.6 27B 模型的 16 种量化方案进行了深度对比测试，包括 GGUF、NVFP4、AWQ 等格式，旨在找出不同量化方法对模型输出概率分布的影响。

测试方法

使用包含 18 万 token 的智能体工具调用对话数据集，通过计算量化模型与未量化参考模型之间的 KL 散度（KLD），来衡量量化带来的偏移程度。散度越低，表示保真度越高。

核心结论

GGUF 综合表现最佳：仅量化权重的 GGUF 格式在几乎所有相同体积下，都保持了最低的 KL 散度，这主要得益于它完全不量化激活值。
vLLM 方案差异大：同时量化权重和激活值的方案（如 NVFP4 W4A4）质量损失明显大于体积更小的 GGUF 模型。AWQ 与英伟达的混合 NVFP4 表现持平。
实践建议：不能仅看量化格式，需关注具体的量化策略。激活值量化虽能提升吞吐量，但必然牺牲模型质量。

「Infra」频道最新