苹果实测 4 台 M5 Ultra Mac Studio 跑万亿参数 Muse Spark Open：36.7 tok/s
EAccelerate_42 · x · 2026-10-16
Apple 机器学习研究团队发布新教程，展示用 MLX 与 Thunderbolt 上的 RDMA 驱动，在 Mac Studio 集群上本地运行近万亿参数的前沿模型 Muse Spark Open：
- 实测数据：4 台 M5 Ultra Mac Studio，8K 上下文下解码速度 36.7 tok/s（远超人眼阅读速度）；64K 上下文下首 token 延迟约 40.6 秒
- 扩展路径：从单台 Mac Studio（最高 512GB 统一内存）起步，通过 RDMA over Thunderbolt 驱动扩展到多机，对比了 2 机流水线并行与 2/4 机张量并行方案
- 发布配套：新版 MLX 同日发布，文中还基准测试了多款开源权重 LLM 在 M5 Ultra 与 M3 Ultra 上的表现
- 作者建议本地 agent 场景应同时测量 prefill 延迟与解码速度
所属事件:苹果 MLX 实测：4 台 Mac Studio 集群跑 816B 模型(2 条相关)→
「Infra」频道最新
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16