25Gbps 跨洲链路训 MoE 模型：Core Automation 发布分散算力训练指南

eliebakouch · x · 2026-11-03

Core Automation 发布长文《The Hitchhiker's Guide to Training on Compute Islands》（Rohan Anil 执笔），主张前沿学习算法应与全球分散算力协同开发。核心成果：团队在两座规模不同、GPU 类型不同的集群上（相距近半个地球，仅 25 Gbps 双向链路）跨洲训练了一个稀疏 MoE 模型；并改进 butterfly mixing，用 8 个 learner 之间的成对交换替代 all-reduce，效果与标准训练持平。文章还分析算力市场现状：训练算力很少以整块形式出现，而是散布在各 neocloud 的数百到数千卡集群；真正瓶颈是电力、电网设备与土地——Nadella 承认「可能囤了一堆插不上电的芯片」，燃气轮机排期到 2028 年，大型变压器交货超三年，高盛预计未来一两年美国数据中心按时上线率仅 50–60%。