128GB Mac 可跑 DeepSeek V4.1：社区发布流式 EXL3 量化包，70tps 常速

HankYeomans · x · 2026-11-05

开发者 TheDavidTai 发布了 DeepSeek V4.1-Flash-1017 的 turboexl3 + mlx-serve 流式量化包，面向 M5 芯片 96GB/256GB 内存设备本地运行：

性能：解约 70 tok/s、prefill 最高约 1900 tok/s，质量接近 NVFP4 等效水平，可作为日常本地 agent 使用
稳定性：速度在全部上下文区间（1K-256K）保持一致，选定档位后波动约 10% 以内
技术方案：trunk 常驻内存，路由专家和 Engram 表按需从 SSD 流式读取，因此 128GB 内存的 Mac 也能 serve 400GB 级模型；量化包基于 turboderp 新发布的「自校正」方案，用无损 DS4.1 作教师模型优化，优于原版 EXL3，与 Mia-AI Lab 的 EAQ Spark 量化相当
配图数据：M5 Max 128GB 实测各档位（1.68-2.81bpw）在不同 prompt 长度下的 prefill/decode 速度、首 token 延迟与 KLD 精度对比，2.81bpw 档在 ≥0.95 置信桶 mean KLD 0.0042，略优于 EAQ v2.9

权重已在 Hugging Face 开放（MIT 协议），将并入下一版 mlx-serve。

「Infra」频道最新