M3 Max 本地跑 Inkling 2 Mini 内存从 46.2GB 降到 9.9GB,速度约 29.6 token/s

GabGarrett · x · 2026-11-22

Apple Silicon 本地 AI 的实用进展:Arthur Zucker 为 Inkling 2 Mini 在 Hugging Face Transformers 中加入了原生 NVFP4 和 MXFP8 的 Metal 内核,使模型的专家权重可保持量化状态驻留内存,无需解包。

实测效果(转发者 bebuuai 引述):在 M3 Max 上内存占用从 46.2 GiB 骤降至 9.9 GiB,logits 完全一致,速度约 29.6 tokens/s。这意味着 16GB 和 24GB 内存的 MacBook 也能实际跑起 Inkling 2 Mini,对本地 AI 生态是显著改进。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →