RTX 4090+Tesla P40 实测：本地 CPU 跑 DeepSeek v4 Flash
DigiDecode_ · reddit · 2026-08-09
作者分享了在本地硬件（RTX 4090 + Tesla P40 + 128GB 内存）上部署运行 DeepSeek v4 Flash 0731 的详细实践与踩坑经验。
部署细节与挑战：
- 量化方案选择：尝试了 Unsloth 4bit KXL（约144GB），但开启 DSpark MTP 会溢出内存，最终改用 IQ4XS 量化（约127GB）。
- 推理速度：在开启 MTP 和 5k+ 上下文的情况下，IQ4XS 实现了约 3 token/sec 的生成速度和 30 token/sec 的提示词处理速度。
- 硬件分配策略：由于 llama.cpp 暂不支持该模型的张量切分，需手动逐层分配。embed 和 output 层必须留在 RTX 4090 上（因 Tesla P40 不支持 Gated Delta Net 的某些算子），其余层分配给 P40 和 CPU。
- 参数优化：-dev 标志的设备顺序显著影响处理速度，将 RTX 4090 设为 CUDA0 能大幅提升 prompt 处理速度。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16