量化评测有噪声地板:引擎重启与batch切换最多扰动0.92%决策
Level5Tech · hf · 2026-11-18
核心问题
量化模型通常与 BF16 原版对比评测,但这个对比往往同时换了推理引擎、服务器实例、batch 方式,甚至内核选择也会随 import 的包而变——这些非量化因素本身就足以翻转决策结果。
测量方法
- 对象:Cloudflare 两个决策模型 Clef-flash (9B) 和 Clef (27B),在 NVIDIA GB10 上对同样的 2,400 条公开决策进行测量
- 所有量化效应都以“超出噪声地板的额外部分”来表述
关键数据
- 非量化噪声源整体使 0–0.92% 的决策发生变化
- llama.cpp 重启完全比特一致;vLLM 重启在 BF16/FP8/NVFP4 下分别翻转 0/5/20(Clef-flash)和 4/0/22(Clef)条决策
- BF16 下换引擎翻转 6–16 条,改 batch 大小翻转 8–15 条,Gated DeltaNet 内核被 transformers 静默切换导致 10–14 条
- 单引擎内量化:Clef-flash/Clef 在 Q80 为 0.88%/1.04%,FP8 为 2.12%/1.62%,Q4KM 为 5.79%/3.50%,NVFP4 为 5.79%/5.67%
- 两个模型的 4-bit 区间均与所有非量化噪声源分离;五项预注册预测中有两项失败(FP8 不在重启噪声内;换引擎的扰动小于 8-bit 量化)
准确率掩盖一切
在 31,275 条公开问题上,Clef 的 Q4KM 准确率净变化仅 -0.02 分,但有 436 条决策实际变差;NVFP4 使 Clef-flash 和 Clef 分别损失 0.95 和 0.65 分。代码、量化配方、逐条输出和预注册文档均已开源。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18