4 台 256GB M5 Ultra 组集群跑 exo,Qwen 27B 达 2000 tok/s 并发服务 32 用户

StefanoGogioso · x · 2026-11-19

exo 实验室在 Supercomputing 2026(与 SHI / Apple 联合展示)演示了用 4 台 256GB M5 Ultra 组成的 Mac 集群运行 exo 分布式推理:Qwen 3.8 27B 达到 2000 tok/s 聚合吞吐,同时服务 32 个用户、每人约 62 tok/s。配图可见现场展台上堆叠的 Mac Studio 集群设备。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →