M5 Ultra 512GB 本地跑 DeepSeek Flash:128K上下文生成54 t/s
vhthc · reddit · 2026-11-17
Reddit 用户购买 Mac Studio M5 Ultra(512GB 内存)后实测本地推理:用 omlx 运行 DeepSeek-V4.1-Flash-1017-oQ4e-mtp,在 128K 上下文下达到约 1100 t/s 的 prompt 处理速度和 54 t/s 的生成速度,并把 engram 存到 SSD 以省出内存。观察到:超过 128K 上下文会拖慢两种速度;多个并发请求会瓜分最大生成速度(并发时单路降至爬行速度)。发帖是想让后来者了解预期性能,并探讨不换模型的前提下这是否已是最优速度。
「Infra」频道最新
- Lambda 完成全球首个大规模 CPO 部署:万卡 Blackwell Ultra 集群 — TheZachMueller · 2026-11-17
- Peter Diamandis:先建成吉瓦级算力的国家将制定智能定价 — PeterDiamandis · 2026-11-17
- Gemini Managed Agents 支持自托管:模型在谷歌跑,工具在你机器上执行 — _philschmid · 2026-11-17
- RWKV-8 RPU 预览:实时推理达每秒 12500+ tokens — kastnerkyle · 2026-11-17
- AI 预算悖论:日常任务用最贵模型,真正的重写却被月度额度卡死 — ruslansv · 2026-11-16
- llm-d 边缘推理实践:prefill 与 decode 分离部署的真实案例 — HowDevelop · 2026-11-16