两台 Mac Studio 跑 320B 模型:单用户 137 tok/s,32 人并发零报错

AIFlow_ML · x · 2026-11-23

开发者 @sashmit 用两台 M5 Ultra 512GB Mac Studio、一根 Thunderbolt 5 线跑通了 320B 的 GLM-5.3-Flash:

结论:一张办公桌就能给 32 人提供大模型服务,无需机房——端侧/桌面级部署大 MoE 模型的可行性再获实证。数据为原作者自测,发布方未复跑。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →