量化评估指标的失效区间
enrique-byteshape · reddit · 2026-07-16
这篇帖子总结了一项关于量化模型评估的深入分析：KLD 和 perplexity 在“退化已经很明显”时，能帮助排序；但在接近基线的低损失区间，它们几乎无法判断哪个量化模型真的更好。
核心结论包括：
- 研究比较了 28 个量化模型，分析了 KLD 排名、质量排名，以及 BPW 排名和实际 tokens/s 吞吐。
- 作者发现了一个 silent zone：在某个 KLD 阈值以下，KLD 与实际质量几乎没有关系，降低 KLD 并不代表质量更好。
- 在这个区间里，KLD 仍然能反映“与 BF16 参考的差异量”，但不能判断这些差异是有益还是有害。
- 当模型进入更明显的 lossy zone 后，divergence 才更稳定地对应质量下降。
- BPW 也有类似问题：它能帮助估算模型大小、是否能放进设备，但不能可靠地给同尺寸量化模型排出真实吞吐顺序。
帖子最后给出了博客系列和预印本链接，表示完整结果已公开。
「研究」频道最新
- MaP-WAM 用记忆驱动规划攻克非马尔可夫机器人操作难题 — Sizhe Zhao · 2026-09-11
- 负向自蒸馏：让模型靠避开错误推理学会更好的推理 — Rongcan Pei · 2026-09-11
- DeepMind 等论文：设计文档当真相源，代码改为可抛弃产物 — Roger_M_Taylor · 2026-09-11
- GameWorld 获 ECCV 2026 多模态数字代理研讨会最佳论文亚军 — MikeShou1 · 2026-09-11
- Yann LeCun 在 ECCV 直播开讲世界模型 — Weak_Assistance_5261 · 2026-09-11
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11