SemiAnalysis:Rubin 上跑 SGLang 每芯片吞吐最高达 GB300 的 6.6 倍
NVIDIAAI · x · 2026-10-14
SemiAnalysis 发文称,在 NVIDIA Vera Rubin NVL72 上用 SGLang 跑 Qwen3.8 Flash Next,每美元性能是 GB300 NVL72 的 4.23 倍。SGLang 官方转发数据:配合 NVIDIA Dynamo,在相同单用户交互速度(P90 180 tok/s/user,FP4)下,每芯片总 token 吞吐最高 6.6 倍(128.7k vs 19.4k tok/s/chip),单 token 模型成本最多低 76%。数据来自 SemiAnalysis InferenceMax 的超大规模持有 TCO 模型,属 NVIDIA 早期测试的插值预览。
「Infra」频道最新
- Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模 — ZenZombie117 · 2026-10-14
- 观点：AI竞赛属于能把足够算力上线的人，Meta已靠堆算力追上 — haider1 · 2026-10-14
- GPU 自有化拐点：利用率超 33% 即跑赢混合云，66% 压过 neocloud — AccBalanced · 2026-10-14
- Koboldcpp v1.123 发布，新增 Qwen Image 2.1 支持 — Fcking_Chuck · 2026-10-14
- 推理生意火爆但黑箱:H100 每小时报价 $2.2 到 $8,利用率与毛利无人知晓 — AccBalanced · 2026-10-14
- Hugging Face 推出 Kernel Hub,让计算内核像模型一样分发 — ariG23498 · 2026-10-14