晒出自制微型集群:M5 Max 128GB+Linux RTX 6000 跑本地 AI
pcuenq · x · 2026-10-07
作者展示自己的 DIY 微型推理集群:M1 Max(64GB,未启用)、M5 Max(128GB)和一台装 RTX 6000 Blackwell 的 Linux 主机。Mac 之间用 Thunderbolt 连接,M5 与 Linux 之间用 10 GbE,配合前述异构分布式推理方案跑本地大模型。
「Infra」频道最新
- 充电公司 Xeal 计划在美部署 10 万块英伟达 GPU,建边缘推理网络 — Nandu_alias_Parthu · 2026-10-07
- Tokio作者打造的Rust ORM Toasty全面支持Turso数据库 — glcst · 2026-10-07
- Kubernetes 之父创办 Stacklok，用云原生思路重构 coding agent 基础设施 — Latent Space · 2026-10-07
- Ollama v0.40.0上线:Apple Silicon自动启用MLX运行时 — lmoroney · 2026-10-07
- 48GB Mac 跑 Qwen-Image-2.1：分阶段加载把峰值显存从 43.6GB 降到 19GB — nefayran · 2026-10-07
- 瑞典住房与数据中心争地：AI 时代基建挤占居住空间 — nordicinst · 2026-10-07