量化评估指标的失效区间
enrique-byteshape · reddit · 2026-07-16
这篇帖子总结了一项关于量化模型评估的深入分析：KLD 和 perplexity 在“退化已经很明显”时，能帮助排序；但在接近基线的低损失区间，它们几乎无法判断哪个量化模型真的更好。
核心结论包括：
- 研究比较了 28 个量化模型，分析了 KLD 排名、质量排名，以及 BPW 排名和实际 tokens/s 吞吐。
- 作者发现了一个 silent zone：在某个 KLD 阈值以下，KLD 与实际质量几乎没有关系，降低 KLD 并不代表质量更好。
- 在这个区间里，KLD 仍然能反映“与 BF16 参考的差异量”，但不能判断这些差异是有益还是有害。
- 当模型进入更明显的 lossy zone 后，divergence 才更稳定地对应质量下降。
- BPW 也有类似问题：它能帮助估算模型大小、是否能放进设备，但不能可靠地给同尺寸量化模型排出真实吞吐顺序。
帖子最后给出了博客系列和预印本链接，表示完整结果已公开。
「研究」频道最新
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- Wakaru 开源 ontologize:用模型激活为数据集自动生成本体标签 — amplifiedamp · 2026-10-27
- EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制 — ZhijingJin · 2026-10-27
- Ethan Mollick用GPT-6 Pro复刻研究：GTA V发售与多地暴力犯罪下降相关 — emollick · 2026-10-27
- OpenAI战略探索负责人访谈：从 Stanford 博退学到扩散LM与o1之路 — aaron_lou · 2026-10-27
- CLT-Forge 开源:训练跨层转码器解码 LLM 计算图 — ZhijingJin · 2026-10-27