Inkling 量化版可在旧笔记本本地运行 Metal 推理提速 5.8 倍

Unsloth 发布的 Inkling UD-Q8KXL 量化版实为 BF16 dense + NVFP4 experts 混合结构,因 llama.cpp 的 Metal 后端不支持 NVFP4 专家权重,MoE 模型无法直接在 CPU/Metal 上运行;经过重量化后 Metal 推理速度提升 5.8 倍。另有用户在 5 年前的旧笔记本上成功本地运行该量化版,感叹只要配备几 TB 知识库,老旧设备也能享受「前 AGI 时代红利」。

2026-11-21 ~ 2026-11-21 · 2 条相关