现在是创业做推理公司的最好还是最坏时机?

AccBalanced · x · 2026-10-05

jessiedong 提出：长时任务增多、token 消耗持续上涨，推理市场看起来在变大，但对小公司来说可能是最坏时机。

她的论点是：推理生意的胜负取决于客户规模。小推理公司只能和大厂抢同一批客户，为每 token 的微小价差厮杀；而 Together、Fireworks 乃至 AWS、Google 这类规模玩家可以靠 GPU 利用率保障承受更低价。更大意味着每 token 成本更低，形成规模正循环。同时当前 GPU 紧缺，小创业公司不持有算力，被云厂商定价绑架，而云价还在上涨。