一张 Blackwell GPU 的取舍：60 倍吞吐 vs 单用户 1000 Token/s
FinanceYF5 · x · 2026-10-25
推理服务商难以同时做到又快又便宜，本质是同一张 GPU 上的资源分配问题。
- 追求速度需减少每张 GPU 上的用户数，代价是算力闲置、Token 成本升高：Groq、Cerebras 选速度；CoreWeave、Novita、Crusoe 偏低价。
- 配图为 NVIDIA gpt-oss-120b 在 Blackwell B200 上的吞吐/交互性曲线：单用户独占约 1,000 Token/s，多人共享时总吞吐可达 60,000 Token/s/GPU，但人均仅约 20—100 Token/s。
- 最新的 TRT-LLM v1.0、NVSwitch 并行与 Multi-Token Prediction 等优化将吞吐推至约 5 倍提升。
「Infra」频道最新
- 字节阿里腾讯狂买 300 万张 Nvidia RTX PRO 5500,总价超 350 亿美元 — Miles_Brundage · 2026-10-25
- Nebius OpenRouter 日处理量破 67B tokens,但同业体量仍是数倍 — AccBalanced · 2026-10-25
- 研究揭秘：开源模型推理市场存在类似金融「幌骗」的价格操纵 — AccBalanced · 2026-10-25
- EmbeddedLLM 获赠 AMD MI350X 服务器，推进 vLLM ROCm 优化 — AccBalanced · 2026-10-25
- 比利时旧煤电厂将装 106 座 Tesla Megapack，2027 年投运 — XFreeze · 2026-10-25
- 用两张矿卡 CMP 170HX 跑 Qwen 3.8 Flash,作者公开优化配置 — leonbollerup · 2026-10-25