两台 Mac Studio 跑 320B 模型:单用户 137 tok/s,32 人并发零报错
AIFlow_ML · x · 2026-11-23
开发者 @sashmit 用两台 M5 Ultra 512GB Mac Studio、一根 Thunderbolt 5 线跑通了 320B 的 GLM-5.3-Flash:
- 单用户 137 tok/s(TensorFold,drafts 开启);关闭 drafts 降至 105 tok/s
- 32 名并发用户总吞吐约 260 tok/s,30 分钟 soak 测试零错误
- 单台 M5 Ultra 512GB 上为 89.5 tok/s
结论:一张办公桌就能给 32 人提供大模型服务,无需机房——端侧/桌面级部署大 MoE 模型的可行性再获实证。数据为原作者自测,发布方未复跑。
「Infra」频道最新
- 开发者直言:99% 的人不该自托管本地模型 — gnukeith · 2026-11-23
- 三星实验室开源 LittleBit:LLM 权重压至 0.1 比特仍可用 — MikePFrank · 2026-11-23
- 科技公司吹嘘数据中心创造就业,博主批其粉饰真实社区影响 — feregri_no · 2026-11-23
- 字节 Seed 与清华发布 RSIBench-Infra:Agent 可优化生产级训练推理设施 — geoffwolfe · 2026-11-23
- 产品高管晒本地 AI 工作站:M5 Ultra Mac Studio + 全本地模型栈 — davidhoang · 2026-11-23
- 曝 Oracle 服务器报价暴涨 50%,OpenAI 算力项目被迫大幅缩水 — SumitGup · 2026-11-23