8x 5090 跑 DeepSeek V4 Flash：并发 50 且成本仅 2.5 美元/时
Hodler-mane · reddit · 2026-08-04
开发者分享了在 8x RTX 5090 上高效运行 DeepSeek V4 Flash 的极限压测方案。
- 硬件优势：5090 拥有与 RTX PRO 6000 相同的显存带宽，且支持 FP4 加速。
- 性能表现：使用 REAP mxfp4 镜像，可支持 50 个并发会话，单会话 KV 缓存最高可达 250k（平均 50k），每会话推理速度为 30-40 tps。
- 成本极低：该硬件配置在 Vast 上的租赁成本仅为 $2.5/小时。作者周末花费约 150 美元测试了包括 Kimi K3 在内的多种吞吐量优化配置。
「Infra」频道最新
- 英伟达加入美国NSF区域AI中心，扩展全美算力与研究资源 — nordicinst · 2026-08-05
- 迈向万安培 AI 芯片：垂直供电技术成算力基建关键 — jwt0625 · 2026-08-05
- 智能体 RL 训练受限于推理：SkyPilot 实现近 50% 提速 — skypilot_org · 2026-08-05
- 硬件架构探讨：为何选择垂直供电而非垂直光互连？ — jwt0625 · 2026-08-04
- CoreWeave官宣2026大会：李飞飞等大咖齐聚探讨生产级AI — wandb · 2026-08-04
- 智能体引爆存储变革：企业数据层正成为AI新瓶颈 — BenBajarin · 2026-08-04