Apple M5 Ultra 512GB 版可本地跑 97 个开源模型中的 93 个
bigaiguy · x · 2026-09-04
作者认为 Apple M5 Ultra 真正值得关注的不是 keynote 里的「AI 快 4.3 倍」宣传，而是 Mac Studio 512GB 统一内存 + 1.2TB/s 带宽的组合。
关键数据：
- M3 Ultra 带宽上限为 819GB/s，M5 Ultra 提升到 1.2TB/s；token 生成受内存带宽限制，仅带宽提升就带来约 50% 的推理加速。
- 按 canitrun 追踪器的估算（非实测基准）：
- DeepSeek R1 671B @ Q4KM：约 12.7 tok/s
- DeepSeek V4 Flash 284B @ Q80：约 20.8 tok/s
- Llama 4 Maverick 400B @ Q80：约 14.9 tok/s
- GPT-OSS 120B @ BF16 全精度：约 28 tok/s
- Kimi K2.6 1T @ Q2K：约 22 tok/s（能装下，但 Q2 量化质量损失明显）
- 97 个开源权重模型中 93 个能以 8K 上下文完整装进内存；装不下的 4 个是 1.6T-2.4T 级的 DeepSeek V4 Pro、Kimi K3、Qwen3.8 2.4T。
结论：512GB 统一内存让 Mac Studio 成为目前少数能本地运行几乎所有主流开源大模型的消费级设备。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21