双3080本地跑DeepSeek实测
bkin777 · reddit · 2026-07-16
作者分享了自己在 **2× RTX 3080 20GB + 64GB DDR5** 的机器上运行 **DeepSeek V4 Flash** 量化版的实测结果，并给出了完整硬件与启动参数。 关键结果： - 模型：约 **86.7GB** 的 GGUF 版本 - 环境：Debian 13、Nvidia 610.43.02 驱动、llama.cpp fork - 配置：128k 上下文、`--split-mode layer`、手动调整 `-ts 130,43` 避免 OOM - 性能：**17 tokens/s 生成速度**，**270 tokens/s prefill** 作者表示已经能稳定跑起来，只是还可以继续优化。帖子里也提到，这个 fork 解决了 context 量化后输出异常的问题。