苹果 MLX 实测：四台 Mac Studio 跑 816B 模型，每秒 36 token
JeremyCMorgan · x · 2026-10-23
Apple 的 MLX 团队报告，将一个 816B 参数的模型分布部署在四台 Mac Studio 上，推理速度达到 36 tokens/秒以上，并公布了所用方法与功耗测量数据。发帖人进一步追问：折算下来这套 setup 的每 token 成本是多少？对关注本地/端侧大模型部署的人来说，这是少见的官方跨机分布式 Mac 推理实测数据。
「Infra」频道最新
- 200 个并发 LLM agent 跑在 1GB 内存、$6/月的 VM 上：瓶颈是自家的保存锁 — swarmagent · 2026-10-23
- Blaise 新书获盛赞,其太空 GPU 项目 Suncatcher 完成首飞 — paulnovosad · 2026-10-23
- 浏览器免费实测 Jetson:INT4 量化让 Cosmos3-Edge 挤进 8GB — No-Dragonfly6246 · 2026-10-23
- 魔改 32GB 版 RTX 4080 解锁算力:BF16 翻倍至 184 TFLOPS — Desperate-Sir-5088 · 2026-10-23
- 一周四篇芯片高管访谈：CUDA 之父谈 GPU 为何持续碾压 ASIC — firstadopter · 2026-10-23
- 租一张 GPU 时薪净赚 31 美元：DeepSeek 开源推理引擎 DeepInfer 算账 — cneuralnetwork · 2026-10-23