M5 Pro 实测:MLX 跑 Inkling Mini 比 llama.cpp 快约一倍
xlr8harder · x · 2026-11-22
在 xlr8harder 征询 inkling mini 最快本地推理方案的讨论中,muradylan 分享了 Apple Silicon 上的实测经验:在其 M5 Pro 上 MLX 达 37 tok/s,而 llama.cpp 仅 17.7 tok/s,差距约 2 倍。原因是 GGUF 量化里的 NVFP4 层在 Metal 上无法计算,只能回退到 CPU。批量任务建议把 reasoning effort 调低,否则 high 档会思考很久。
所属事件:实测:24GB M5 Pro 可流畅运行 Inkling 2 Mini,MLX 快于 llama.cpp(2 条相关)→
「Infra」频道最新
- 摩尔线程曝 64GB 消费 GPU“庐山”,显存两倍于 RTX 5090 — CeFurkan · 2026-11-22
- 印度 Sarvam 推出 Token Factory:本土 GPU 托管开源前沿模型 — itsOmSarraf_ · 2026-11-22
- 安全研究曝光廉价AI中转商:窃取API密钥并偷看用户请求 — The Decoder · 2026-11-22
- 5090 本地跑 Inkling Mini 实测:vLLM+DSPark+FP8 KV 300-350 tok/s — willcb · 2026-11-22
- 马斯克:Tesla 数据量大如尼亚加拉瀑布,留存不足百万分之一 — Scobleizer · 2026-11-22
- theCUBE 主权 AI 报告:Google Cloud 以 3.45 分居主权指数榜首 — aftahi_ai · 2026-11-22