单台 M5 Ultra 512GB 跑 DeepSeek-V4.1-Flash:解码稳定 101 tok/s
HankYeomans · x · 2026-11-21
网友 TheDavidTai 分享在单台 Apple M5 Ultra(512GB 统一内存)上本地推理 DeepSeek-V4.1-Flash-1017 的实测数据,经基础调优后成绩已相当可用:
- 解码速度约 101 tok/s,且从 1K 到 256K 上下文几乎保持平稳;
- 32K prompt 下 prefill 峰值达 4,308 tok/s;256K 长 prompt 实测 prefill 3,452 / decode 101,峰值内存占用 425 GB;
- 使用 mlx-serve、MXFP4 专家(与 NVIDIA NVFP4 位精确一致),并采用 DSpark MTP 等优化。
作者认为这只是起步,后续优化空间还很大。对本地部署大模型来说,512GB 统一内存的 Mac 已能流畅跑 MoE 大模型。
「Infra」频道最新
- Hugging Face 上线 H200 推理端点,每 GPU 每小时仅 5 美元 — lhoestq · 2026-11-21
- JapanFold 在 Tenstorrent 芯片上预测超百万蛋白质结构,支撑 Anthropic 蛋白设计竞赛 — DavidBennett__ · 2026-11-21
- Keysight Q4 订单激增53%至23.4亿美元,AI 需求仍超供给 — BenBajarin · 2026-11-21
- 美光 CEO:未来五年客户需求超过我们能承诺的供应量 — Beth_Kindig · 2026-11-21
- 2026 WebAI 峰会 25 场演讲上线,每周放出 8 场 — jason_mayes · 2026-11-21
- AWS 推出 HyperPod Global Inference Gateway:跨区域单端点智能路由 — AWS ML Blog · 2026-11-21