MLX-Serve 新版:两台 M3 Ultra 跑 DeepSeek,速度提升 57%
HankYeomans · x · 2026-11-07
MLX-Serve 发布 v26.11.2,聚焦在 Mac 上跑 DeepSeek 的多种方案,支持从约 80GB 到 512GB 内存的配置。
- 跨双 Mac 张量并行:新增 --dist,可将 DeepSeek-V4.1-Flash 拆分到两台 Thunderbolt 5 连接的 Mac 上共同处理每个 token;双 M3 Ultra 配合 DSpark 写出速度提升 57%(56→88 tokens/s),不用 DSpark 也快 31%。
- GGUF 跑出 MLX 速度:--mlx-gguf 让 DeepSeek-V4.1 的 GGUF 量化包(ISTA GSQ-RCO、Coder 包、DS4 包)在 MLX 引擎上运行,支持 DSpark drafting 和图像输入;M5 Ultra 上读 prompt 约 3300 tokens/s,是之前的 2.5 倍。Qwen3、Flint、Muse Glimmer 等 GGUF 也受益于更快的 IQ 内核。
- 其他提速:Lossless 包在 M3 及更老机型快 7%,iQ-MLX 与 expert-pruned 包在 M4 及更老机型快 25%-43%,还修复了 GGUF 上下文被限制在 32k 的问题。
「Infra」频道最新
- 用前沿模型训练本地 Qwen 9B,量子力学题从 2/8 提升到 7/8 — SouthernRow2710 · 2026-11-07
- 微软季度 capex 达 452 亿美元，从 OpenAI 赚了 100 亿 — draginol · 2026-11-07
- 训练 1 FLOP、推理 6 FLOP：推理栈已成超 2200 亿美元生意 — ravikantagrawal · 2026-11-07
- Chromium 源码仓库高达 200GB,.git 会膨胀到 400GB — mohamedmansour · 2026-11-07
- 把 Redis 移出 Lambda 后，函数平均耗时从 1285ms 降至约 500ms — DanielLockyer · 2026-11-07
- 博主对比：高尔夫球场和杏仁种植用水量远超数据中心 — aronchick · 2026-11-07