M5 Ultra 512GB 本地跑 DeepSeek Flash:128K上下文生成54 t/s

vhthc · reddit · 2026-11-17

Reddit 用户购买 Mac Studio M5 Ultra(512GB 内存)后实测本地推理:用 omlx 运行 DeepSeek-V4.1-Flash-1017-oQ4e-mtp,在 128K 上下文下达到约 1100 t/s 的 prompt 处理速度和 54 t/s 的生成速度,并把 engram 存到 SSD 以省出内存。观察到:超过 128K 上下文会拖慢两种速度;多个并发请求会瓜分最大生成速度(并发时单路降至爬行速度)。发帖是想让后来者了解预期性能,并探讨不换模型的前提下这是否已是最优速度。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →