Ben Bajarin:Agent 推理重塑数据中心 CPU/GPU 配比,neocloud 落后 hyperscaler
BenBajarin · x · 2026-09-25
Ben Bajarin 论证:从单体 LLM 推理转向多步 Agent 工作流,正在结构性改变数据中心算力构成——GPU 不再主导推理全程。
- 核心论点:Agent 调用工具、查数据库、等待人工审批、编排子 Agent 时,GPU 空转而 CPU 干活。估计这段空窗占推理总时长的约 12%–22%,且随 Agent 复杂度上升而放大。
- neocloud 短板:hyperscaler 十年积累了数千万颗通用 CPU,叠加 Agent 层后成为力量倍增器;neocloud 在 CPU 部署上明显落后,而编排密集型负载正放大这一差距。
- 「Agent 原生 CPU」经济账:CPU 机架全配置约 30 万–50 万美元,GPU 机架约 400 万美元以上,功耗约 7:1。模型显示:在 1GW 设施中分配 5% 电力给 CPU,可提升约 2% 有效 token 吞吐、降低约 3.7% 单 token 成本,总 capex 仅增约 1.7%;盈亏平衡点约在 10% 分配比例,超过后吞吐下降快于成本节省。
结论:数据中心将出现一个与 GPU 集群并列、专为 Agent 工作流设计的新 CPU 层级,其市场规模可能超出多数预测。
「编程与Agent」频道最新
- Quail 深度解析:自研调度器与 vLLM 内核如何炼成 1B token/分钟 — sh_reya · 2026-09-25
- Agent 代码淹没 CI：Anthropic 六个月 CI 任务量暴涨 25 倍的应对 — JeremyCMorgan · 2026-09-25
- Perplexity Fast Search 入驻 Hermes Agent,p50 延迟 160ms 且免费 — denisyarats · 2026-09-25
- Cursor 发布 Projects:一个协调者指挥数千子智能体,重度用户 PR 合并量提升 6 倍 — gaganghotra_ · 2026-09-25
- NetworkChuck 演示 Paperclip：让任意 AI Agent 当「员工」协作干活 — AIFlow_ML · 2026-09-25
- Zapier CEO 访谈：全公司考核 AI 熟练度，最高档「Transformative」极难得 — aakashgupta · 2026-09-25