跨洋 25Gbps 训练 MoE 模型：算力孤岛时代的分布式训练指南
_arohan_ · x · 2026-11-04
Rohan Anil 在 Core Automation 发表长文，探讨如何利用分散在全球的「算力孤岛」训练前沿模型，并实测跨洋训练。
- 团队在两个相距近半个地球、规模不同、GPU 类型不同的集群上，通过 25 Gbps 双向链路训练了一个稀疏 MoE 模型
- 改进 butterfly mixing，用 8 个 learner 间的成对交换替代 all-reduce，效果与标准训练持平
- 核心论点：训练算力很少以整块形式出现，市场上有大量散落在各家 neocloud 的几百到几千卡集群，算法应与这种现实共同设计
- 瓶颈不在芯片而在电力、电网设备与土地：Satya Nadella 承认有芯片囤在库存里接不上电；燃气轮机被订到 2028 年，大型变压器交货超 3 年；单季度至少 20 个数据中心项目被当地反对否决；高盛预计未来一两年美国数据中心按期上线率仅 50–60%，低于历史约 72%
所属事件:Rohan Anil 实测跨洲 25Gbps 低带宽训练 MoE 模型可行(6 条相关)→
「Infra」频道最新
- 全 Rust 本地 LLM 套件 LexiSuite 发布，部分场景超越 llama.cpp — W61k3r · 2026-11-05
- Gary Marcus 断言数据中心狂欢将崩塌：多数项目难存活 — GaryMarcus · 2026-11-05
- Merge 实测:自家 MCP 连接器比微软官方版工具更多、报错减半 — shensi · 2026-11-05
- TorchTPU 兼容性实测:4917 个社区模型中 4821 个可正常运行 — jiqizhixin · 2026-11-05
- 富士康剑指全球 AI 服务器市场五成份额,拟占营收 60-65% — Beth_Kindig · 2026-11-05
- antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器 — antirez · 2026-11-05