DeepSeek-V4-Flash 跑在 64GB Mac 上：小缓存竟胜过大缓存

cowboy-bebob · reddit · 2026-08-22

在配备 64GB 内存的 M5 Pro Mac 上运行了两周 DeepSeek-V4-Flash (284B/165GB)，通过流式传输从 SSD 加载专家模型。

核心发现：

流式无损质量：全语料库 wikitext 困惑度为 6.1250，与官方发布值 6.1262 几乎一致。
小缓存胜过大缓存：8GB 缓存达到 2.04 tok/s，而 32GB 缓存仅为 1.23 tok/s。操作系统页缓存发挥了真正作用。在 ds4 引擎中复现结果相同：8GB 在解码、预填充和 RSS 上均优于 32GB，本机速度达 11.4 tok/s（5.1GB 常驻内存）。
推测解码和预取无效：在 IO 受限状态下，额外字节成本超过隐藏延迟。Prompt-lookup 推测速度为 0.44–0.96x。预门控预取准确率 70-77% 但未能提升速度。
2-bit 量化失败：Codebook 2-bit 量化 (AQLM 类) 未通过质量门控，困惑度增加 9.4%，与普通仿射 2-bit 持平。

「Infra」频道最新