oMLX 0.8 让 NVIDIA GPU/DGX Spark 给 Mac 当 Prefill 加速器,提速最高 5.3 倍

pcuenq · x · 2026-11-16

oMLX 发布 0.8.0rc1,新增 Prefill Accelerator:NVIDIA GPU 机器、DGX Spark 或第二台 Mac 可分担大模型的 prefill 层,Mac 保留 KV cache 继续解码。特点:- GPU 不需装下整个模型,能加速多少层就加速多少层,Auto 模式按实测速度自动分配;- 无需 RDMA 或雷电口,一根网线即可(推荐 2.5GbE),NVIDIA 侧只需一条 docker run。实测(64K prompt,M3 Ultra 512GB):DGX Spark 下 Qwen3.8 27B 从 352 提到 1062 tok/s(+202%);2x RTX A6000 下 Qwen3.8 27B 达 1879 tok/s(+434%,最高 5.3 倍提升)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →