三卡本地跑 DeepSeek 的实测配置
Jaswanth04 · reddit · 2026-07-19
作者在一套老平台上本地运行 DeepSeek-V4-Flash Q8 量化版：3 张卡分别是两张 RTX 3090（24GB）和一张 RTX 5090（32GB），加上 128GB DDR4 内存与 Ryzen 3950X。 他给出了完整的 `llama.cpp` 启动参数，包括多 GPU layer split、tensor split、把 MOE 层移到 CPU、关闭 mmap、使用 262144 上下文等配置，并声称这种 override tensor 的放置方式能让显卡利用更均衡。 实测速度方面，prompt eval 约 37.9 tok/s，生成阶段约 9.07 tok/s。作者认为它在编码任务上的表现优于 Qwen 3.5 v2，并询问在不升级硬件的前提下还能如何提升 token 速度。