训练出前沿模型的核心作者实测：跨两大洲 25Gbps 带宽训 MoE 可行
andersonbcdefg · x · 2026-11-03
前沿模型训练算法开发者 Rohan Anil（Google DeepMind 训练算法的核心贡献者之一）发布 18 分钟长文，介绍其在 CoreAuto 的跨集群训练实践：
- 跨洲低带宽训练：在两个规模不同、GPU 型号不同、地理距离近半个地球的集群上，通过 25 Gbps 双向链路训练了一个稀疏 MoE 模型（3B MoE），效果「glorious」。
- butterfly mixing：用 8 个 learner 之间的两两交换（pairwise exchanges）取代标准 all-reduce，训练效果与标准单集群训练持平。
- 立场与呼吁：这是关于「真正的分布式学习」的 position 文章与行动号召，瞄准算力孤岛乃至太空训练（in-space training）的愿景。
文中附有与标准训练、幂律拟合外推的对比曲线，值得完整阅读。
所属事件:Rohan Anil 实测跨洲 25Gbps 低带宽训练 MoE 模型可行(6 条相关)→
「Infra」频道最新
- 全 Rust 本地 LLM 套件 LexiSuite 发布，部分场景超越 llama.cpp — W61k3r · 2026-11-05
- Gary Marcus 断言数据中心狂欢将崩塌：多数项目难存活 — GaryMarcus · 2026-11-05
- Merge 实测:自家 MCP 连接器比微软官方版工具更多、报错减半 — shensi · 2026-11-05
- TorchTPU 兼容性实测:4917 个社区模型中 4821 个可正常运行 — jiqizhixin · 2026-11-05
- 富士康剑指全球 AI 服务器市场五成份额,拟占营收 60-65% — Beth_Kindig · 2026-11-05
- antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器 — antirez · 2026-11-05