a16z 长文：AI 推理算力需求井喷，专用芯片将终结 GPU 时代？
a16z Newsletter · rss · 2026-07-23
知名风投 a16z 发布深度文章指出，AI 推理正迅速超越模型训练，成为计算史上规模最大的工作负载，这将推动硬件架构从通用 GPU 向专用定制芯片发生历史性转变。
文章核心观点如下：
- 推理成为最大开销：训练模型类似于一次性资本支出，而推理则是随用户调用量线性增长的运营成本。生成每个 token 都需要庞大的内存读取与矩阵运算，随着 OpenAI、Anthropic 等平台用户量与 Agent 业务的激增，推理算力与成本正呈现垂直上升趋势。
- 通用 GPU 的瓶颈：GPU 凭借灵活性开启了 AI 时代，但在处理极度专一的推理任务时存在严重的不匹配。为了提高吞吐量，业界普遍采用“批处理”，但这会牺牲响应延迟，无法满足编程 Agent 等对实时性要求极高的场景。此外，在数据中心受限于电力（Watts）的当下，通用芯片浪费在灵活性上的每一瓦特都在削减经济效益。
- 专用芯片的崛起：正如当年图形处理从 CPU 转向 GPU，当一项计算任务变得足够庞大且形态稳定时，必然会走向硬件专业化。Google 的 TPU 是这一趋势的早期代表，而前沿实验室和其他云厂商也正纷纷跟进。
- Etched 的豪赌：文章以初创公司 Etched 为例，其创始人在 ChatGPT 爆火前就辍学致力于打造从芯片、主板到机架的端到端 AI 推理系统。Etched 的核心技术包括低压推理（在同等功耗下提供更高算力）和集群级内存（通过极低延迟互联将整个机架的内存池化）。目前公司已招募 400 多名工程师，其核心理念是“量产即产品”。
「创投」频道最新
- Paper 完成 3400 万美元 A 轮融资，Accel 和 ICONIQ 领投 — hewarsaber · 2026-07-24
- Gary Marcus 说 AI 科技股正越来越像加密货币 — GaryMarcus · 2026-07-24
- 共享工作区的多智能体工具，单任务成本降到 1.65 美元 — HeyNayeem · 2026-07-23
- Cognition 收购 Poke 团队 Interaction — marvinvonhagen · 2026-07-23
- Etched 融资 3 亿美元，估值升至 103 亿美元扩推理集群 — a16z · 2026-07-23
- Etched 称未发首台机架前已签下超 10 亿美元合同 — a16z · 2026-07-23