M5 Pro 实测:MLX 跑 Inkling Mini 比 llama.cpp 快约一倍

xlr8harder · x · 2026-11-22

在 xlr8harder 征询 inkling mini 最快本地推理方案的讨论中,muradylan 分享了 Apple Silicon 上的实测经验:在其 M5 Pro 上 MLX 达 37 tok/s,而 llama.cpp 仅 17.7 tok/s,差距约 2 倍。原因是 GGUF 量化里的 NVFP4 层在 Metal 上无法计算,只能回退到 CPU。批量任务建议把 reasoning effort 调低,否则 high 档会思考很久。

所属事件:实测:24GB M5 Pro 可流畅运行 Inkling 2 Mini,MLX 快于 llama.cpp(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →