双3090 跑 75B 模型的推理优化实测
_ballzdeep_ · reddit · 2026-07-16
帖子分享了把 **NVIDIA Nemotron-Labs-3-Puzzle-75B-A9B** 跑在 **2 张 RTX 3090** 上的完整实测与配置，重点不是模型介绍，而是本地推理栈优化。 主要内容包括： - 使用特定量化版本后，可在双 3090 上跑满 **262K 上下文**，且无需 CPU offload。 - 关键突破是调 `PYTORCH_CUDA_ALLOC_CONF`，解决碎片化和 rank 失衡问题。 - **PIECEWISE CUDA graphs** 带来最大 decode 提升：从约 **27.9 tok/s** 提升到 **88+ tok/s**。 - 开启 custom all-reduce 后，N=1 和 N=4 吞吐进一步提升。 作者给出了实测结果： - N=1 decode **93.8 tok/s**，prefill 约 **3660 tok/s** - N=4 aggregate **255 tok/s**，TTFT p50 **0.61s**，无 preempt / 无 OOM - 52K needle recall 通过，工具调用也正常