三卡本地跑 DeepSeek 的实测配置
Jaswanth04 · reddit · 2026-07-19
作者在一套老平台上本地运行 DeepSeek-V4-Flash Q8 量化版：3 张卡分别是两张 RTX 3090（24GB）和一张 RTX 5090（32GB），加上 128GB DDR4 内存与 Ryzen 3950X。
他给出了完整的 llama.cpp 启动参数，包括多 GPU layer split、tensor split、把 MOE 层移到 CPU、关闭 mmap、使用 262144 上下文等配置，并声称这种 override tensor 的放置方式能让显卡利用更均衡。
实测速度方面，prompt eval 约 37.9 tok/s，生成阶段约 9.07 tok/s。作者认为它在编码任务上的表现优于 Qwen 3.5 v2，并询问在不升级硬件的前提下还能如何提升 token 速度。
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27