NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍
teortaxesTex · x · 2026-11-21
Unsloth 的 Inkling UD-Q8KXL 量化版实为 BF16 dense + NVFP4 experts:llama.cpp 的 Metal 后端不支持 NVFP4(无 kernel、GETROWS 也拒绝),导致 40 个专家张量全部回落到 CPU——90 个 graph splits、1619 次 backend transitions、1106/14504 节点在 CPU,速度仅约 5 t/s。作者定位根因后,用修补过的 llama-quantize(COPY 模式下忽略 tensor-type 覆盖的问题,提交 f43e1feb0)只把专家张量重量化为 Q4K/Q50,其余张量保持逐字节不变(输出 18GB)。结果:graph splits 90→2,backend transitions 1619→1,CPU 节点降到 1;pp256 36.6→213.7 t/s(5.8×),tg64 5.86→19.6 t/s(3.4×),聊天生成 19-20 t/s,算术推理 sanity check 通过。
所属事件:Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍(2 条相关)→
「Infra」频道最新
- 200 万金丝雀令牌实测 AI 服务:三家供应商被盗,转售商偷记录 prompt — AccBalanced · 2026-11-21
- Unsloth 发布新版:26.4B Inkling 2 Mini 可在 16GB 内存运行 — danielhanchen · 2026-11-21
- Seroter 每日阅读清单 #914:编码 harness 易换、模型行为难改 — rseroter · 2026-11-21
- Inkling 2 Mini 能效实测:82.3% 准确率仅耗 1.17 kJ,单位能耗智能最佳 — simonguozirui · 2026-11-21
- 算力过剩论者改口:效率每年 4 倍提升,10 年后 10 亿美元算力工作降至千元 — teortaxesTex · 2026-11-21
- 华为算力平台论文渐多,Jack Clark 提及 AscendGym 值得关注 — willknight · 2026-11-21