推理服务商自造挤利润的市场：出路只有每 GPU 小时榨出更多 token
AccBalanced · x · 2026-10-27
jessiedong 分析推理服务商的基本经济模型：卖 token、付 GPU 租金，每 GPU 小时收入取决于 token 单价、单位时间产出和使用率。
困境：一方面更多服务商抢同样的 GPU，推高 GPU 成本；另一方面大家卖同样的开源模型，压低 token 价格——服务商亲手造出了挤压自己利润的市场。
出路：作者认为唯一解法是从每 GPU 小时里榨出更多 token——更好的软件，或在便宜硬件上跑推理形成差异化。存活判断很难做，因为需求增长快到人人都有客户；作者认为需求未必放缓，但供给终将跟上。
配图（B200 跑 gpt-oss-120b 测算）：优化后 serving 每小时利润 37.58 美元、盈亏平衡点 13% 利用率；基础栈仅 3.02 美元/小时、需 65% 利用率才保本——NVIDIA 2025 年 10 月软件更新后同卡吞吐提升 5 倍，把盈亏平衡点从 65% 降到 13%，说明 serving 软件才是利润关键。
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27