GPU 五到九成时间在等内存,巨头押注重建整个 AI 基础设施
alex_verem · x · 2026-10-07
- 作者引用 Ben Horowitz 本周说法与多方数据,论证现有 AI 基础设施错配:聊天机器人场景下 GPU 仅有 5–15% 时间在算,其余都在等内存;Nvidia 为此豪掷约 200 亿美元收购 Groq 的芯片(注:此说法未获广泛证实)。
- 关键数据点:AI agent 可完成任务时长每 4 个月翻倍,而现系统为毫秒级请求设计;Epoch AI 估计公共互联网作为训练数据约 2028 年耗尽。
- 结论:专用 AI 芯片、面向数天级长任务的数据中心、从真实世界学习的模型将迎来全栈重建;a16z 刚募资 28 亿美元押注这一方向,VC 的话透露了钱的流向。
所属事件:GPU 大量时间在等内存，巨头押注重建 AI 基础设施(2 条相关)→
「Infra」频道最新
- 6 秒转录 1 小时语音：Phonon-2 Core ML 版达 606 倍实时，内存砍至 1.1GB — julianweisser · 2026-10-07
- Mistral Large 4 仅用 4000 块 GPU 训练,竞品 Astra 用了 10 万块 — steipete · 2026-10-07
- SpaceX 曝百万卫星 Starlink 算力架构:10 星成组、组内 10T 带宽 — XFreeze · 2026-10-07
- Google EmbeddingGemma 2 已可在浏览器内经 WebGPU 本地运行 — xenovatech · 2026-10-07
- AI 找到的安全漏洞激增，OpenSSH 改为更频繁发版 — jedisct1 · 2026-10-07
- Lambda 推出 AIPerf：衡量模型在真实用户负载下的表现 — TheZachMueller · 2026-10-07