两台 Mac Studio 跑通 816B 参数模型：4 万美元替代 50 万算力
charles_irl · x · 2026-10-16
ekzhang1 展示了如何用约 4 万美元的消费级硬件跑通常需 4 张 B300（约 50 万美元数据中心算力）的万亿参数级模型。
- 模型：816B 参数（激活 42B），量化到 nvfp4 后权重约 493 GB。
- 硬件：两台 512 GB 统一内存的 Mac Studio，通过 Thunderbolt RDMA 做权重/注意力分片，张量并行 TP=2。
- 性能：并发仅 1 请求，受内存带宽限制（每 GPU 约 1.2 TB/s，对比 Blackwell 的 8 TB/s）。
- 作者承认按单价看并不实用或划算（batch 太小），但「它能跑起来本身就很有意思」。背景是 Meta 发布 Muse Spark Open 开源权重，与苹果合作适配新 Mac Studio。
「Infra」频道最新
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16