DeepSeek V4 Flash本地实测
kevin_1994 · reddit · 2026-07-11
这是一篇关于 **DeepSeek V4 Flash** 在消费级硬件上的本地运行体验分享。 作者的环境是： - RTX 4090 - 128 GB DDR5 - Intel Core Ultra 7 270k - Ubuntu + 最新 llama.cpp 他尝试了多种量化和参数组合后，最终用 unsloth 的 `UD-Q2_K_XL` 量化方案跑通，并给出速度数据： - Prompt：132.5 tok/s - Generation：10.9 tok/s 一些关键观察： - 在 Intel Core Ultra 7 270k 上，绑定 p-cores 后速度提升明显，约从 6.8 tok/s 提升到 11 tok/s - `--no-mmap` 更慢 - `-ctk q8_0` / `-ctv q8_0` 会让 llama.cpp 崩溃 - 在长上下文下把 `-b` 或 `-ub` 提高到 4096 以上，会把 CUDA buffer 撑到 90GB+ - 用 `llama-server` 时，`-fa off` 反而是必要的，否则也会把 CUDA buffer 撑爆 对比上，作者觉得它**比 Qwen 3.6 27B Q4_K_XL 更“聪明”一些，但更慢**；不过因为它少一些“过度推理”，所以很多任务总耗时其实差不多。作者认为如果后续把 flash attention、batch/microbatch、context quantization 等问题修好，这个模型在 4090/3090 上会更实用。