推理需求将增千倍，41% 算力会跑到 20MW 以下小站点
antavedissian · x · 2026-11-12
Anthony Avedissian 发长文分析未来五年 AI 推理算力的落点：推理总量将达今天的 1000 倍以上，但巨型数据中心容纳不下全部——模型测算显示，2031 年约 1/3 token 仍在超大规模园区运行，1/4 在区域站点，41% 将落在 20MW 线以下（手机、笔记本、机器人、楼宇机柜、太阳能电站旁的小型站点）。
关键经济账：小型站点每 token 成本反而是巨型园区的 1.3–3 倍，因为 GPU 在附近无人调用时会闲置；而能把任务动态调度到空闲站点的软件可以抹平大部分差距——作者认为这是下一批 AI 基础设施公司的机会所在。
背景：美国中期选举中 10 州 41 项数据中心地方投票有 28 项限制开发，但超大规模厂商今年 capex 已超 8000 亿美元，Amazon 称 2027 年还会更多；博弈只是从许可审批转向州议会、公用事业委员会和市政厅。
所属事件:预测称2031年41%的AI推理将落在20MW以下小站点(5 条相关)→
「Infra」频道最新
- Pinokio 作者点破：Potion UI 本地跑却是多用户 AI 服务器 — cocktailpeanut · 2026-11-12
- Recursive 自研系统造出 Flint:40B 稀疏模型本地跑 agent 编码 — agihouse_org · 2026-11-12
- 开源稀疏模型 Flint:40B 参数仅 2.5B 激活,M4 Pro 上跑 125+ tokens/s — agihouse_org · 2026-11-12
- AWS 官方推出 AWS 模拟器，可在本地模拟自家云服务 — super_linear · 2026-11-12
- Nvidia 与 Google 的 Agent 沙箱项目正式进入 CNCF — pjausovec · 2026-11-12
- Megakernel 之于 GPU,正如多道程序设计之于 CPU:GPU 正进入操作系统时代 — pranjalssh · 2026-11-12