买 512GB Mac Studio 跑本地大模型值不值？两位安全研究者算账
rez0__ · x · 2026-10-28
安全研究者 Jhaddix 分享购买 Mac Studio M3 Ultra 512GB 统一内存的体验，rez0 跟帖补充自己的配置，两人在「值不值」上立场一致：
- Jhaddix 在本机以 20-40 tok/s 运行 DeepSeek Flash 与 GLM 5.3，上下文窗口 1M，7x24 常开；下一代机型的 prefetch 优化还会更好。
- rez0 用 256GB Mac Studio 通过 omlx 跑 4bit 量化带 thinking 的模型，速度 80-90 tok/s，配合 uniichat 可稳定用到 200k 上下文。
- 两人的共同方法论：先确定目标模型需要的速度，找最便宜的托管方案按年算总成本，与本地硬件折旧对比后再决定买不买；实际使用中本地模型、订阅前沿模型、按量 API 三者混用。
「Infra」频道最新
- 亚马逊谷歌微软一边采购 Anthropic 一边向其出售 2690 亿美元算力 — YvesMulkers · 2026-10-28
- AMD 与 Meta 深化合作，Helios 机架系统进驻支撑超级智能基础设施 — wkmyrhang · 2026-10-28
- 4 块 RTX PRO 6000 跑 DeepSeek：16 并发解码 2120 tok/s — victormustar · 2026-10-28
- 算一道账:2027 年底地球上每人可分 120B 个 DS 级 token — bookwormengr · 2026-10-28
- Google TPU 首次登陆第三方云：OCI 成 Google 之外首个提供 TPU 的超大规模云 — rseroter · 2026-10-28
- Arm 高管访谈：智能体需要专用 CPU，服务器 CPU 市场 2030 年将达 2510 亿美元 — BenBajarin · 2026-10-28