推理市场年吞吐 4.5 千万亿 token,却没有一把衡量价值的标尺
AccBalanced · x · 2026-10-15
CipherTalk 长文指出 AI 推理基础设施行业规模巨大但透明度极低:
- OpenRouter 年 token 路由量达 4.5 千万亿运行率,Fireworks 突破 $1B 运行率,Baseten 传以 $26B 估值融资;CoreWeave 披露 $104B 积压订单,Nscale IPO 文件显示 $103.4B 合同价值——但其中仅 $2.6B 为实际生效。
- Nscale 2026 上半年成本 $189.6M 超过营收 $140.6M;几乎无人公布集群利用率或推理毛利率。
- 价格与性能严重不透明:同是 H100,DeepInfra $2.20/小时 vs Fireworks $8.00/小时;GPT-OSS-120B 在 Cerebras 上比最慢主机快约 36 倍,而最便宜的主机反而准确率更高。
- 现有基准(MLPerf、Artificial Analysis、InferenceX)各测一角,均无法回答「哪个系统单位成本产出最高」,且排名制定者不为买家决策负责。
作者主张真正的标尺需要三要素:按采购方式描述推理的指标、独立基准、把卖家约束到结果的合同。
所属事件:AI推理市场年吞吐4.5千万亿token却成定价黑箱(2 条相关)→
「创投」频道最新
- Kleiner Perkins 前合伙人 Bucky Moore 出走自设风投基金 — nmasc_ · 2026-10-15
- 打造高ROI产品对比页,抢占AI搜索流量先机 — jia_seed · 2026-10-15
- 投资人:AI 生成的冷邮件和 BP 我一律不看直接删 — dauber · 2026-10-15
- 「利率半点波动真会影响数据中心开工吗」:AI股与宏观脱节之辩 — inductionheads · 2026-10-15
- Perplexity Computer 可 @Polymarket 查询 25 万+预测市场实时数据 — SuhailKakar · 2026-10-15
- 做完两单 RAG 评测审计仍零客户:技术兴趣不等于购买意愿 — SeaAstronomer9044 · 2026-10-15