Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍
Unsloth 发布的 Inkling UD-Q8KXL 量化版实为 BF16 dense + NVFP4 experts 混合结构,因 llama.cpp 的 Metal 后端不支持 NVFP4 专家权重,MoE 模型无法直接在 CPU/Metal 上运行;经过重量化后 Metal 推理速度提升 5.8 倍。另有用户在 5 年前的旧笔记本上成功本地运行该量化版,感叹只要配备几 TB 知识库,老旧设备也能享受「前 AGI 时代红利」。
2026-11-21 ~ 2026-11-21 · 2 条相关
- NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍 — teortaxesTex · 2026-11-21
- 5 年前的旧笔记本也能跑 Inkling 量化版,尝到「前 AGI 时代红利」 — teortaxesTex · 2026-11-21