量化评测有噪声地板:引擎重启与batch切换最多扰动0.92%决策

Level5Tech · hf · 2026-11-18

核心问题

量化模型通常与 BF16 原版对比评测,但这个对比往往同时换了推理引擎、服务器实例、batch 方式,甚至内核选择也会随 import 的包而变——这些非量化因素本身就足以翻转决策结果。

测量方法

关键数据

准确率掩盖一切

在 31,275 条公开问题上,Clef 的 Q4KM 准确率净变化仅 -0.02 分,但有 436 条决策实际变差;NVFP4 使 Clef-flash 和 Clef 分别损失 0.95 和 0.65 分。代码、量化配方、逐条输出和预注册文档均已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →