4 台 256GB M5 Ultra 组集群跑 exo,Qwen 27B 达 2000 tok/s 并发服务 32 用户
StefanoGogioso · x · 2026-11-19
exo 实验室在 Supercomputing 2026(与 SHI / Apple 联合展示)演示了用 4 台 256GB M5 Ultra 组成的 Mac 集群运行 exo 分布式推理:Qwen 3.8 27B 达到 2000 tok/s 聚合吞吐,同时服务 32 个用户、每人约 62 tok/s。配图可见现场展台上堆叠的 Mac Studio 集群设备。
「Infra」频道最新
- SREGym 2.0 复现微软 Outlook 全球宕机:潜伏 bug 叠加双重故障导致级联失效,前沿模型也难解 — ajratner · 2026-11-19
- Google 免费推出 Mac 本地 AI 笔记应用:EmbeddingGemma 2 驱动、完全离线 — dr_cintas · 2026-11-19
- 262K上下文值得0.0011 KLD损失吗?本地部署者的KV缓存权衡 — Distinct-Pie2389 · 2026-11-19
- 用 QSFP 线缆串联 DGX Spark 做数据并行训练,作者称体验不错 — austinvhuang · 2026-11-19
- Anthropic 算力支出年增 4 倍超 OpenAI,Q3 单季烧 100 亿美元 — scaling01 · 2026-11-19
- 东南亚银行停贷,泰国数据中心协会称 12 个月内 GPU 订单取消额达 180 亿美元 — SumitGup · 2026-11-19