跨两洲 25Gbps 链路训 MoE 模型：算力岛分布式训练实录
_arohan_ · x · 2026-11-05
Rohan Anil 发表长文《The Hitchhiker's Guide to Training on Compute Islands》，主张为前沿学习算法与全球分散算力协同设计，并给出实证：跨两个规模不同、GPU 类型不同、相距近半个地球的集群，通过 25Gbps 双向链路训练了一个稀疏 MoE 模型；还用八学习者两两交换（butterfly mixing 替代 all-reduce）达到与标准训练相当的效果。
核心论点与数据：
- 训练算力很少以整块形式出现，市场上散布在众多 neocloud 中的数百至数千卡集群加总体量可观
- 最大瓶颈不是芯片而是电力、电网设备与土地，且到 2028 年前大概率持续：Satya Nadella 原话「你可能有一堆芯片堆在库存里却插不上电」
- 燃气轮机已订到 2028 年（Bloomberg），大型变压器交货超三年（Reuters）；单季度内至少 20 个数据中心项目被本地反对否决（Heatmap）
- 高盛预计未来一两年美国计划上线数据中心容量只有 50-60% 能按时交付，低于历史约 72% 的水平
所属事件:跨洲分布式训练实录引热议：拆散小数据中心也能训前沿模型(3 条相关)→
「Infra」频道最新
- LFM3-Omni-2B 移植 iPhone：完全离线多模态对话达 80 tok/s — JosephJacks_ · 2026-11-05
- 轨道数据中心发射入轨：被玩成「精灵西渡」的科幻梗 — rand_longevity · 2026-11-05
- 越南林同省拟引入 Starlink，破解山区事故救援通信难题 — elonmusk · 2026-11-05
- SpaceX 携手高通建全美 Starlink Mobile 5G 网络，2027 年铺开 — Polymarket · 2026-11-05
- Agent 烧钱循环怎么防：调用前预算护栏的六道检查与三个踩坑 — MaverikSh · 2026-11-05
- 美国 AI 扩张卡在两道物理关口：电力与人形机器人量产 — ingliguori · 2026-11-05