NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍

teortaxesTex · x · 2026-11-21

Unsloth 的 Inkling UD-Q8KXL 量化版实为 BF16 dense + NVFP4 experts:llama.cpp 的 Metal 后端不支持 NVFP4(无 kernel、GETROWS 也拒绝),导致 40 个专家张量全部回落到 CPU——90 个 graph splits、1619 次 backend transitions、1106/14504 节点在 CPU,速度仅约 5 t/s。作者定位根因后,用修补过的 llama-quantize(COPY 模式下忽略 tensor-type 覆盖的问题,提交 f43e1feb0)只把专家张量重量化为 Q4K/Q50,其余张量保持逐字节不变(输出 18GB)。结果:graph splits 90→2,backend transitions 1619→1,CPU 节点降到 1;pp256 36.6→213.7 t/s(5.8×),tg64 5.86→19.6 t/s(3.4×),聊天生成 19-20 t/s,算术推理 sanity check 通过。

所属事件:Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →