3x3090 换 2x5090:NVFP4+投机解码实测提速明显
CompetitiveDraft9381 · reddit · 2026-09-28
作者把家庭服务器的 3 张 RTX 3090 升级为 2 张 RTX 5090,并在同一 Q8 模型上对比了三种配置的推理速度:旧 3x3090、新 2x5090、以及开启 NVFP4 + 投机解码后的 2x5090,后两者速度逐级提升。
采购与回血账:
- 5090 单卡涨到约 $7,500 时,作者买了两台各 $6,400 的整机
- 计划以约 $2,000/张的价格卖出 3 张 3090(预计还需 2-3 个月行情到位)
- 连同整机剩余配件,最好情况下可回血约 $9,000,GPU 净成本约 $6,000
作者注明旧配置中有一张 3090 插在较慢的 PCIe 槽上,基准略低于理想状态;并欢迎读者提出其他想看的 benchmark。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16