MLX 修一个小 bug,Mac Studio 本地推理提速近 3 倍
SumitGup · x · 2026-11-23
M1/M2 Ultra 版 Mac Studio 的 MLX 本地 AI 推理迎来免费升级:这些芯片此前因一个小 bug 一直在用较慢的解码路径,没有启用本已存在的更快 Metal kernel,一次简单修复即解锁性能。
实测数据(M1 Ultra 128GB 运行 Qwen3-4B 4-bit):8 行并发生成 BF16 从 28.05ms 降到 9.28ms,FP16 从 25.33ms 降到 8.55ms,约 3 倍提速;4 行场景从 14.54ms 降到 9.32ms。此外现在并发跑 8 路 AI 流几乎与 4 路耗时相同,且无需编写任何新 kernel 代码。
「Infra」频道最新
- 「无限计算」愿景:AI 与量子计算融合成单一算力生态 — ChuckDBrooks · 2026-11-23
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- Nvidia 双面叙事:财报创纪录,同时深陷监管调查与治理风波 — emmanuelvivier · 2026-11-23
- Oracle 融资 200 亿美元加码 AI 基建,力撑 OpenAI 大单 — emmanuelvivier · 2026-11-23
- RX 6700 XT 跑量化小模型:分叉优化后 prefill 近千 tok/s — ireallydontcare00 · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23