AI 推理五年涨千倍而电力仅十倍,推理该跑在哪一层
antavedissian · x · 2026-11-12
作者提出一个关键矛盾:未来五年 AI 推理总量预计增长约 1000 倍,但可用电力只能增长约 10 倍。他将 AI 推理的承载位置分为五层:
- 手机、笔记本或机器人本体
- 家庭、商店或工厂内部的服务器
- 城市级小型数据中心(1–20 MW)
- 区域数据中心(20–100 MW)
- 超大型园区(100 MW+)
而某个请求最终落在哪一层,取决于三个问题:模型是否小到能塞进该位置、是否要求即时响应(如语音、机器人、汽车)、数据是否被允许离开该建筑或国家。满足约束后,就去最便宜的地方跑。
所属事件:AI 推理五年涨千倍而电力仅增十倍，算力将流向五层设施(2 条相关)→
「Infra」频道最新
- Pinokio 作者点破：Potion UI 本地跑却是多用户 AI 服务器 — cocktailpeanut · 2026-11-12
- Recursive 自研系统造出 Flint:40B 稀疏模型本地跑 agent 编码 — agihouse_org · 2026-11-12
- 开源稀疏模型 Flint:40B 参数仅 2.5B 激活,M4 Pro 上跑 125+ tokens/s — agihouse_org · 2026-11-12
- AWS 官方推出 AWS 模拟器，可在本地模拟自家云服务 — super_linear · 2026-11-12
- Nvidia 与 Google 的 Agent 沙箱项目正式进入 CNCF — pjausovec · 2026-11-12
- Megakernel 之于 GPU,正如多道程序设计之于 CPU:GPU 正进入操作系统时代 — pranjalssh · 2026-11-12