苹果实测：4 台 M5 Ultra Mac Studio 跑万亿参数 Muse Spark Open 达 36 token/s
rxwei · x · 2026-10-16
Apple 机器学习研究团队发布深度技术文章，展示如何在桌面端本地运行近万亿参数的开源前沿模型 Muse Spark Open（ weights 当日开放，由 finkd 官宣，与 Apple 合作优化）。
关键信息：
- 硬件：新一代 Mac Studio M5 Ultra，单机最高 512GB 统一内存；对比上一代 M3 Ultra
- 软件：新版 MLX 框架（当日发布），利用 Apple 芯片统一内存架构
- 性能：4 台 Mac Studio 组成集群，8192 token 上下文下 Muse Spark Open 解码速度超过 36 tokens/秒，远高于人类平均阅读速度
- 扩展方案：通过 Thunderbolt 5 RDMA 驱动实现多机互联，对比了 pipeline 并行（2 机）与 tensor 并行（2 机/4 机）三种方案
- 还附带了多篇热门开源 LLM 在 Mac Studio 上的 benchmark 深度对比，涵盖 MLX、GPU Neural Accelerators 等
对本地/分布式大模型推理感兴趣的开发者，这是一份少见的苹果官方一手实测数据。
所属事件:苹果用 4 台 Mac Studio 本地跑万亿参数模型达 36 token/s(3 条相关)→
「Infra」频道最新
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16
- Meta Muse Spark Open 智能指数仅 39，比闭源 1.3 低 9 分 — EAccelerate_42 · 2026-10-16
- LLM 优化 ffmpeg 模糊滤镜:每帧 95GB 冗余拷贝,耗时从 2452ms 降到 49ms — IgorCarron · 2026-10-16
- TRL 引入树形打包:Agentic RL 训练前反向计算提速超 26 倍 — joecole · 2026-10-16
- ASM 在 SEMICON West 用「披萨 3D 打印」讲透原子层沉积原理 — BenBajarin · 2026-10-16
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16