量化对能力影响更细分
BBASecure · reddit · 2026-07-10
作者对多个模型做了 FP16 和不同 GGUF 量化等级的系统测试，按能力拆分比较数学、代码、推理和知识召回，而不是只看总分。 结果显示，量化影响并不均匀：某些 27B 模型在知识类任务上几乎不掉点，但在多步数学上损失明显；更高精度的量化档位则能明显缩小数学差距。作者还提出了一个问题：随着上下文拉长，量化模型的检索和抗遗忘能力是否也会更快下降。
BBASecure · reddit · 2026-07-10
作者对多个模型做了 FP16 和不同 GGUF 量化等级的系统测试，按能力拆分比较数学、代码、推理和知识召回，而不是只看总分。 结果显示，量化影响并不均匀：某些 27B 模型在知识类任务上几乎不掉点，但在多步数学上损失明显；更高精度的量化档位则能明显缩小数学差距。作者还提出了一个问题：随着上下文拉长，量化模型的检索和抗遗忘能力是否也会更快下降。