用 Mac 统一内存加双 3090 拼 212GB 跑 120B 大模型,可行吗?
ruffus_or · reddit · 2026-11-22
一位用户计划用三台机器搭分布式 AI 集群跑 120B+ 参数的大模型:Mac mini M4 Pro(64GB 统一内存)、拟购入的 Mac Studio M4 Max(36GB 统一内存)、以及一台 2×RTX 3090(48GB 显存)+64GB DDR4 的 Windows PC,合计 212GB 物理内存,但并非统一内存池。
他打算用 llama.cpp RPC 之类的软件把 Metal、CUDA 与 CPU offload 串起来,Mac 之间走 Thunderbolt 5、到 Windows 机器走 10Gb 以太网,并询问是否有人成功做过类似方案。
「Infra」频道最新
- 一个 AI 泡沫寓言:发债、私募信贷、保险年金后的崩塌剧本 — Svwang1 · 2026-11-22
- 单张 RX 7900 XTX 跑 524k 上下文:自研引擎比 llama.cpp 快 3 倍 — W61k3r · 2026-11-22
- 图解 GPU 线程调度:从 kernel 启动到硬件执行的完整链路 — blaizedsouza · 2026-11-22
- 平头哥估值或超800亿美元,与昆仑芯同赴资本市场对决 — 创业邦 · 2026-11-22
- OpenAI 用 GPT 重写 AMD 旗舰 GPU 电路,5 个月 PPA 提升 14% — 新智元 · 2026-11-22
- 伯克利实验室报告:数据中心推高电价说法不成立,负荷增长未致涨价 — Eliv_nurotic · 2026-11-22