推理服务商只能二选一:快(Groq/Cerebras)或便宜(CoreWeave)
AccBalanced · x · 2026-10-17
jessie dong 解释了推理服务的根本经济账:按 token 计费但按 GPU 时间付成本,服务商只能在"快"和"便宜"之间二选一。
- 选快的(Groq、Cerebras):每张 GPU 服务的人数少,延迟低但单 token 成本高,还会出现 GPU 空转。
- 选便宜的(CoreWeave、Novita、Crusoe):定价低得多,但用户要排队等待。
本质是 GPU 的并发特性:以 Blackwell 为例,一个人独占 GPU 只能拿到约 1000 tokens/s,且 GPU 总产出也只有 1000 tokens/s(单用户喂不满它);多人共享时 GPU 总吞吐可达 60000 tokens/s,但每人只分到约 20-100 tokens/s。配图是 NVIDIA InferenceMAX 博客的 gpt-oss-120b 在 B200 上的实测曲线:共享时 60000 TPS/GPU 最大吞吐,独占时 1000 TPS/用户最大交互性,最新优化包括 TRT-LLM v1.0、NVSwitch 新并行方案与 MTP。
「Infra」频道最新
- 扎克伯格押注本地推理，Meta 或成端侧前沿 AI 的旗手 — StefanoGogioso · 2026-10-17
- 范式与 RiseUnion 开源 ModelSphere：面向混合 GPU 集群的 LLM 部署平台 — Codeblix_Ltd · 2026-10-17
- Flux 3 Klein 量化实测：nvfp4 比 fp8 快近一倍出图 — dh7net · 2026-10-17
- .NET 10 Lambda ARM64 基础镜像残留 170MB Yum 缓存 — DanielLockyer · 2026-10-17
- Vera Rubin 被指为代际级升级:美国不足一成数据中心一年内能跑 — sudoraohacker · 2026-10-17
- 实测 RTX Spark 笔记本跑 gpt-oss-120b 全面快过 DGX Spark — fallingdowndizzyvr · 2026-10-17