a16z 长文：AI 推理算力需求井喷，专用芯片将终结 GPU 时代？
a16z Newsletter · rss · 2026-07-23
知名风投 a16z 发布深度文章指出，AI 推理正迅速超越模型训练，成为计算史上规模最大的工作负载，这将推动硬件架构从通用 GPU 向专用定制芯片发生历史性转变。
文章核心观点如下：
- 推理成为最大开销：训练模型类似于一次性资本支出，而推理则是随用户调用量线性增长的运营成本。生成每个 token 都需要庞大的内存读取与矩阵运算，随着 OpenAI、Anthropic 等平台用户量与 Agent 业务的激增，推理算力与成本正呈现垂直上升趋势。
- 通用 GPU 的瓶颈：GPU 凭借灵活性开启了 AI 时代，但在处理极度专一的推理任务时存在严重的不匹配。为了提高吞吐量，业界普遍采用“批处理”，但这会牺牲响应延迟，无法满足编程 Agent 等对实时性要求极高的场景。此外，在数据中心受限于电力（Watts）的当下，通用芯片浪费在灵活性上的每一瓦特都在削减经济效益。
- 专用芯片的崛起：正如当年图形处理从 CPU 转向 GPU，当一项计算任务变得足够庞大且形态稳定时，必然会走向硬件专业化。Google 的 TPU 是这一趋势的早期代表，而前沿实验室和其他云厂商也正纷纷跟进。
- Etched 的豪赌：文章以初创公司 Etched 为例，其创始人在 ChatGPT 爆火前就辍学致力于打造从芯片、主板到机架的端到端 AI 推理系统。Etched 的核心技术包括低压推理（在同等功耗下提供更高算力）和集群级内存（通过极低延迟互联将整个机架的内存池化）。目前公司已招募 400 多名工程师，其核心理念是“量产即产品”。
「创投」频道最新
- 独立开发者学 ASO：本地化让日曝光从 216 涨到 2853 — rudrank · 2026-10-27
- Anthropic 已提交 IPO 申请，Chamath 团队拆解 S-1 文件 — TinfoilTricorn · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- Schema 为何与 AI 可见性相关：背后是有能力的 SEO 与 Web 团队 — lilyraynyc · 2026-10-27
- Meta Muse 日活达290万,20%美国用户 ARPU 超1000美元 — omooretweets · 2026-10-27
- Anthropic S-1：近半收入经云市场渠道，超商两头赚钱 — dinabass · 2026-10-27