推理生意火爆但黑箱:H100 每小时报价 $2.2 到 $8,利用率与毛利无人知晓
AccBalanced · x · 2026-10-14
推理(inference)生意正爆发,需求仍跑在供给前面,但买方、放贷方和投资人几乎拿不到独立证据证明自己买到了什么。
- OpenRouter 一家年化 token 路由量已达 4.5 千万亿(4.5 quadrillion);CoreWeave 披露 1040 亿美元在手订单,Nscale 的 IPO 文件显示 1034 亿美元活跃及已签约价值——但仍看不到真实的集群利用率或推理毛利数据。
- 价格混乱:H100 每小时在 DeepInfra 报 $2.20、Fireworks 报 $8.00,而两者并非同一产品;Artificial Analysis 数据显示 GPT-OSS-120B 在 Cerebras 上比最慢主机快约 36 倍,而最慢的主机恰是最便宜且「准确率得分」更高的。
- 作者每天被问:买还是租?选哪家云?选哪个模型?如何监控价格?——市场缺的是独立的质量/价格/利用率信息层。
「Infra」频道最新
- NVIDIA 五年投 2.5 亿美元算力助英国 AI 安全研究,NHS 成最大试验场 — heyshrutimishra · 2026-10-14
- 破解 ECDSA 挑战赛新纪录:893 量子比特比谷歌 3 月最佳省 25% 资源 — jedisct1 · 2026-10-14
- Llamaforge v0.16：给 llama.cpp 加控制面板，本地 Agent 引用必须逐字可查证 — Sleepybear2611 · 2026-10-14
- OpenAI Decisions API 被质疑：云端往返延迟与隐私是否可行 — WhichCardiologist800 · 2026-10-14
- Jared Palmer 决策模型 Kev-4B 上线 Phala TEE,隐私推理开测 — bgmshana · 2026-10-14
- 扎克伯格:去年押注 AI 已先投入数千亿美元,成功与否当时无从知晓 — GaryMarcus · 2026-10-14