oMLX 0.8 让 NVIDIA GPU/DGX Spark 给 Mac 当 Prefill 加速器,提速最高 5.3 倍
pcuenq · x · 2026-11-16
oMLX 发布 0.8.0rc1,新增 Prefill Accelerator:NVIDIA GPU 机器、DGX Spark 或第二台 Mac 可分担大模型的 prefill 层,Mac 保留 KV cache 继续解码。特点:- GPU 不需装下整个模型,能加速多少层就加速多少层,Auto 模式按实测速度自动分配;- 无需 RDMA 或雷电口,一根网线即可(推荐 2.5GbE),NVIDIA 侧只需一条 docker run。实测(64K prompt,M3 Ultra 512GB):DGX Spark 下 Qwen3.8 27B 从 352 提到 1062 tok/s(+202%);2x RTX A6000 下 Qwen3.8 27B 达 1879 tok/s(+434%,最高 5.3 倍提升)。
「Infra」频道最新
- 分析师:中国 AI 优势在开放模型+制造+能源的全栈协同 — ingliguori · 2026-11-16
- 晚点聊嘉宾判断:AI 基建已走完,应用层还早得很 — oran_ge · 2026-11-16
- 美对华芯片管制真实目标:不是拦GPU,而是卡死EUV自主化 — teortaxesTex · 2026-11-16
- 玩家用 DLSS 5 Double Pass + 路径追踪重塑《赛博朋克 2077》画面 — Promptmethus · 2026-11-16
- MMFlash 提出视觉感知投机解码,多模态模型无损加速最高 3.58 倍 — _akhaliq · 2026-11-16
- 微软开源 TokenEconomizer,为编码 Agent 降本 18%-31% — udmrzn · 2026-11-16