M3 Ultra Mac Studio本地跑DeepSeek达40 tok/s
zephyr_z9 · x · 2026-08-01
一位开发者在搭载 512GB 内存的 M3 Ultra Mac Studio 上运行最新的 DeepSeek 模型，达到了 40 tokens/秒的推理速度。对此，有人评论称这一表现已经相当于在本地设备上跑出了接近 Claude 3 Opus 4.7-4.8 级别的能力，且完全可用。
「Infra」频道最新
- SGLang 支持 Inkling-Small 本地运行，双节点实现 24 tok/s — ying11231 · 2026-08-01
- macmon：Apple Silicon 终端实时性能监控工具获 1.8k Star — tom_doerr · 2026-08-01
- 千卡实测：H200 集群吞吐优化 Kimi K3 的工程经验 — hsu_byron · 2026-08-01
- Laguna 性能翻倍：无推测解码也能大幅提升 Mac 端推理速度 — gajesh · 2026-08-01
- AI 智能体大爆发会压垮互联网基础设施吗？ — Ok-Video4323 · 2026-08-01
- Kimi K3 推理速度破纪录：达 172 tokens/秒 — AccBalanced · 2026-08-01