算力将主导前沿模型时代

deedydas · x · 2026-07-20

作者认为,未来几年 AI 的主线会落到 **compute(算力)** 上,原因是前沿模型的需求与供给都在快速变化。 - 以 Kimi K3 为例,模型上线 2 天就冲到 OpenRouter 前 10,日处理量约 **140B tokens**,但推理基础设施已经吃紧:吞吐从 **30 tok/s** 降到 **13 tok/s**,端到端延迟升到 **72 秒**,首 token 时间超过 **20 秒**。 - 他说要给“量化后的 Kimi K3”配足算力,最低也要买 **8 张 B300**,成本约 **50 万美元**;如果上更推荐的 **GB300 NVL72** 机架,成本约 **400 万美元**。 - 核心判断是:Moonshot 可能没有足够算力满足需求;即便是美国的推理服务商,也未必能快速扩容,因为 **2.8T** 级别模型太重。 - 许多 GPU/neocloud 已经开始签 **3 年甚至 5 年**、首付 **30%** 的长期合约,算力价格继续走高;头部实验室、超大云厂和部分大模型公司已经提前锁定资源,剩下的玩家在争抢稀缺容量。 - 结论是:虽然模型单价长期在下降,但“前沿能力”的价格并没有明显塌缩;在需求持续增长、前沿能力持续提升、而算力供给又受限的情况下,提前锁定 compute 的公司会获得更大的价值捕获。

所属事件:算力将主导前沿模型时代但存变数(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →