Mac Studio M5 Ultra 本地跑分击败双 DGX Spark，Qwen 达 164.8 tok/s
SumitGup · x · 2026-10-19
有实验室在 Mac Studio（M5 Ultra 80 核 GPU / 256GB / oMLX）与双 DGX Spark（2×GB10 / vLLM TP2）上对比了 3 个本地 LLM 的解码速度：
- Qwen3.8 Flash Next：Mac 164.8 tok/s（MTP 3）vs Spark 116.0（MTP 4）
- DeepSeek V4 Flash：Mac 74.4 vs Spark 68.0
- GLM-5.3 Flash：Mac 73.1（MTP 2）vs Spark 28.4
测试条件：32K 上下文、短代码输入约 1.9–2.2K tokens、512 输出、冷输入缓存；两边的运行时、量化与计时方式不同，也未做质量测试。结论是 Mac 在本地推理上意外强势。注意其中多个型号名称尚未正式发布，该跑分真实性存疑。
「Infra」频道最新
- 博主：自己付 API 账单后才发现本地模型真香，一键生成装机文档 — draginol · 2026-10-19
- IBM 高管：美国 AI 领导力卡在电力许可与机器人规模上 — ingliguori · 2026-10-19
- Matthew Green 追问：前沿大模型集体不可用时怎么办？ — matthew_d_green · 2026-10-19
- 开源语义缓存 HotKV 实测:Claude 调用省 70%,答案质量只降约 6 个点 — HotKV-Ltd · 2026-10-19
- 网友质疑 Anthropic 算力紧张，频繁限流难撑虚拟科学家 — gerardsans · 2026-10-19
- David Sacks：回收周期应作AI基建核心指标，CoreWeave五年合约约2.5年回本 — DavidSacks · 2026-10-19