Mac Studio M5 Ultra 对决双 DGX Spark：长输入下互有胜负
GabGarrett · x · 2026-10-19
博主 satsuki2694 在固定 200K 上下文上限下，把输入长度从约 30K 拉到 190K tokens，对比 Mac Studio（M5 Ultra）与双机 DGX Spark 的本地推理表现，覆盖 Qwen、DeepSeek V4 Flash 0731、GLM 三款模型。
主要结论：
- Qwen：Mac 的首 token 延迟（TTFT）更低，但 Spark×2 在长输入下解码速度保持得更好；Mac 的 prefill 吞吐约 4700 tok/s 起步并缓慢下降，Spark 稳定在 2000 左右。
- DeepSeek V4 Flash：长输入下 Spark×2 明显占优，Mac 解码速度从约 60 tok/s 跌到 25 左右，TTFT 随输入增长陡增；Spark 靠自动 KV 管理保持解码稳定。
- GLM Flash：两者解码与 TTFT 表现接近，Spark 的 prefill 全程持平而 Mac 略降。
总体看：短输入 Mac 首 token 更快，长输入场景双 DGX Spark 的解码稳定性更划算。
所属事件:Mac Studio M5 Ultra 对比双 DGX Spark 本地推理互有胜负(2 条相关)→
「Infra」频道最新
- ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率 — Bohan Sun · 2026-10-19
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- 华为发布 Atlas 960E 超节点：NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%，硬件成唯一大头 — victor_explore · 2026-10-19
- 实测打脸：语义缓存用 cross encoder 反而不如直接调高 cosine 阈值 — Reasonable_Royal_621 · 2026-10-19
- SonicBoom v0.0.3 发布：编译器优先推理运行时解码超 llama.cpp 1.18 倍 — nalaginrut · 2026-10-19