24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案

SumitGup · x · 2026-11-23

ddalcu 宣布 MLX-Serve 已支持 Inkling 2 Mini,称写了约 24 个定制内核后,MLX-Serve 可能是当前在 Mac 上运行 Inkling 2 mini 的最快方式,目前支持 8Bit 及 NVFP4、MXFP8 量化——4bit 版本尚未达到其质量标准。ivanfioravanti 表示正在为 M3 Ultra 做适配优化。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →