开发者用四台 Mac Studio 跑 291B 模型
eptwts · x · 2026-08-28
开发者 @stevenzhang 展示了一套由四台 Mac Studio 组成的本地推理集群。通过 Thunderbolt 5 环形网络（支持 RDMA）将四颗 Ultra 芯片进行张量分片，成功运行 291B 参数的大模型。这种方案实现了本地零推理成本，无需依赖云服务提供商。
「Infra」频道最新
- 新方法 DiffusionOPSD 将扩散模型训练算力削减 63% — burny_tech · 2026-08-28
- Baseten 宣称 GLM-5.3-Flash 推理速度达 122+ TPS — baseten · 2026-08-28
- 德州数据中心降本，CenterPoint 拟每年降电费 200 美元 — robleclerc · 2026-08-28
- 新书推荐：CUDA for Deep Learning — techNmak · 2026-08-28
- 免费 CUDA 课程：比官方文档更好，涵盖架构、内核与 Triton — techNmak · 2026-08-28
- 探讨光网络 LPO/NPO/CPO 技术路径 — BenBajarin · 2026-08-28