量化到底丢了什么？用 Qwen 27B 逐级实测 BF16 到 Q2 的损失

TheMoonMidas · x · 2026-09-09

原帖（@nettermina）好奇量化宣传的「几乎无损」里「几乎」到底是什么：模型用 BF16 训练、以 Q8 发布、大家常跑 Q4，那从 BF16 一路压到 Q2 究竟丢了什么？

作者设计了一个可视化实验：让 Qwen 3 32B（BF16）写一段话，再让每个量化等级（Q8 到 Q2）各自生成同样内容，逐词标记差异。核心发现是：模型输出每个词时都带有置信度，BF16 模型有 90% 把握的词，即使量化到 Q2 也几乎不变；而只有 4050% 把握的词（即本来就有多个合理候选的词，如「windy/sunny/cloudy」）正是量化最容易破坏的部分。