量化评估指标的失效区间
enrique-byteshape · reddit · 2026-07-16
这篇帖子总结了一项关于量化模型评估的深入分析：KLD 和 perplexity 在“退化已经很明显”时，能帮助排序；但在接近基线的低损失区间，它们几乎无法判断哪个量化模型真的更好。 核心结论包括： - 研究比较了 28 个量化模型，分析了 KLD 排名、质量排名，以及 BPW 排名和实际 tokens/s 吞吐。 - 作者发现了一个 **silent zone**：在某个 KLD 阈值以下，KLD 与实际质量几乎没有关系，降低 KLD 并不代表质量更好。 - 在这个区间里，KLD 仍然能反映“与 BF16 参考的差异量”，但不能判断这些差异是有益还是有害。 - 当模型进入更明显的 **lossy zone** 后，divergence 才更稳定地对应质量下降。 - BPW 也有类似问题：它能帮助估算模型大小、是否能放进设备，但不能可靠地给同尺寸量化模型排出真实吞吐顺序。 帖子最后给出了博客系列和预印本链接，表示完整结果已公开。