用 Mac 统一内存加双 3090 拼 212GB 跑 120B 大模型,可行吗?

ruffus_or · reddit · 2026-11-22

一位用户计划用三台机器搭分布式 AI 集群跑 120B+ 参数的大模型:Mac mini M4 Pro(64GB 统一内存)、拟购入的 Mac Studio M4 Max(36GB 统一内存)、以及一台 2×RTX 3090(48GB 显存)+64GB DDR4 的 Windows PC,合计 212GB 物理内存,但并非统一内存池。

他打算用 llama.cpp RPC 之类的软件把 Metal、CUDA 与 CPU offload 串起来,Mac 之间走 Thunderbolt 5、到 Windows 机器走 10Gb 以太网,并询问是否有人成功做过类似方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →