MLX 修一个小 bug,Mac Studio 本地推理提速近 3 倍

SumitGup · x · 2026-11-23

M1/M2 Ultra 版 Mac Studio 的 MLX 本地 AI 推理迎来免费升级:这些芯片此前因一个小 bug 一直在用较慢的解码路径,没有启用本已存在的更快 Metal kernel,一次简单修复即解锁性能。

实测数据(M1 Ultra 128GB 运行 Qwen3-4B 4-bit):8 行并发生成 BF16 从 28.05ms 降到 9.28ms,FP16 从 25.33ms 降到 8.55ms,约 3 倍提速;4 行场景从 14.54ms 降到 9.32ms。此外现在并发跑 8 路 AI 流几乎与 4 路耗时相同,且无需编写任何新 kernel 代码。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →