mlx-serve 新 PR:两台 Mac 经雷电 5 跑张量并行,DeepSeek 解码提速 57%
HankYeomans · x · 2026-11-04
ivanfioravanti 为 mlx-serve 提交 PR,让 DeepSeek-V4.1 Flash 通过 --dist tensor 跨两台 Mac(雷电 5 RDMA)做张量并行(此前仅支持流水线并行)。mlx-lm 的 SPMD 布局下,每个 rank 持有每个专家一半的中间宽度与一半注意力头,经 JACCL 求和输出,前缀缓存等单机功能全部可用。
2× M3 Ultra 对比 1× 的实测(Lossless 权重):
- DSpark 解码:88 tok/s vs 56(+57%),可预测文本下 116 tok/s
- 普通解码:54 tok/s vs 41(+31%)
- Prefill:1608 tok/s vs 1018(+58%);首 token 延迟 415ms → 268ms(-35%)
- 4 路并发流总吞吐:94 tok/s vs 62(+53%)
作者称速度已超过 DwarfStar,LocalArena 基准显示 8k 上下文 85.6 tok/s,为对比配置中最快。
「编程与Agent」频道最新
- 编码智能体让投机解码提速超一倍，DFlash2 达 10.87× — berkeley_ai · 2026-11-04
- 开发者怒批“24小时AI做完整游戏”宣传：伤害整个AI游戏圈 — AIandDesign · 2026-11-04
- YC 孵化 twentyfour26：AI 机械师规划并操作 CNC 机床 — ycombinator · 2026-11-04
- Shopify CEO 点赞：AI 助手 Tomo 用 Shop Pay 自主购物 — Jackyhuang · 2026-11-04
- Stripe 招兵买马，布局 agentic commerce 支付基础设施 — jeff_weinstein · 2026-11-04
- Xai 工程师 Yacine:AI 在我睡觉时自主干活,每天早晨都有突破 — yacineMTB · 2026-11-04