苹果 MLX 让 816B 模型跑在 4 台 Mac Studio 上，36+ tokens/秒
andrejusb · x · 2026-10-16
苹果 MLX 团队发布新进展：在 4 台 Mac Studio 组成的集群上，近万亿参数的 Muse Spark Open（816B）实现 36+ tokens/秒的解码速度，高于人类平均阅读速度。
- 硬件与并行：基于 M5 Ultra 的 GPU Neural Accelerator，支持 2 台流水线并行、2 台与 4 台张量并行；单台 Mac Studio 最高 512GB 统一内存起步，再通过 RDMA over Thunderbolt 驱动横向扩展。
- 软件更新：改进 M5 GPU Neural Accelerator 支持、更顺滑的 Thunderbolt 体验（含多线缆 mesh），并针对 MoE 架构做 kernel 优化。
- 多模态：MLX LM（mlxlm.generate、mlxlm.server）现已支持 Muse Spark Open 的视觉模态。
- 基准：在 8,192 token 上下文下对比 M5 Ultra 与上代 M3 Ultra 的多款开源权重模型表现。
所属事件:苹果 MLX 实测：4 台 Mac Studio 集群跑 816B 模型(2 条相关)→
「Infra」频道最新
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16