a16z 长文：AI 推理算力需求井喷，专用芯片将终结 GPU 时代？
a16z Newsletter · rss · 2026-07-23
知名风投 a16z 发布深度文章指出，AI 推理正迅速超越模型训练，成为计算史上规模最大的工作负载，这将推动硬件架构从通用 GPU 向专用定制芯片发生历史性转变。
文章核心观点如下：
- 推理成为最大开销：训练模型类似于一次性资本支出，而推理则是随用户调用量线性增长的运营成本。生成每个 token 都需要庞大的内存读取与矩阵运算，随着 OpenAI、Anthropic 等平台用户量与 Agent 业务的激增，推理算力与成本正呈现垂直上升趋势。
- 通用 GPU 的瓶颈：GPU 凭借灵活性开启了 AI 时代，但在处理极度专一的推理任务时存在严重的不匹配。为了提高吞吐量，业界普遍采用“批处理”，但这会牺牲响应延迟，无法满足编程 Agent 等对实时性要求极高的场景。此外，在数据中心受限于电力（Watts）的当下，通用芯片浪费在灵活性上的每一瓦特都在削减经济效益。
- 专用芯片的崛起：正如当年图形处理从 CPU 转向 GPU，当一项计算任务变得足够庞大且形态稳定时，必然会走向硬件专业化。Google 的 TPU 是这一趋势的早期代表，而前沿实验室和其他云厂商也正纷纷跟进。
- Etched 的豪赌：文章以初创公司 Etched 为例，其创始人在 ChatGPT 爆火前就辍学致力于打造从芯片、主板到机架的端到端 AI 推理系统。Etched 的核心技术包括低压推理（在同等功耗下提供更高算力）和集群级内存（通过极低延迟互联将整个机架的内存池化）。目前公司已招募 400 多名工程师，其核心理念是“量产即产品”。
「创投」频道最新
- Kimi K3 发布后 Moonshot 年化营收从 3 亿美元两月冲至 10 亿 — Hesamation · 2026-09-11
- SEO 老手：中端市场公司做 AI SEO 卡点在执行运营而非策略 — gaganghotra_ · 2026-09-11
- 150 万粉 YouTuber 付费约了独立开发者咨询,咨询生意成变现样本 — tibo_maker · 2026-09-11
- 71% 的人从未用过生成式 AI，仅 0.14% 拿它写代码 — iamaliveix · 2026-09-11
- Glean 约 15 个月从 1 亿冲到 3 亿美元 ARR,是真功夫还是抢地盘 — yogthinks · 2026-09-11
- 8 个可变现的开源项目：从 n8n 到 Supabase 的副业路径 — Shruti_0810 · 2026-09-11