前谷歌训练大佬 Rohan Anil 实测跨洋 25Gbps 双集群训练 MoE 模型
_arohan_ · x · 2026-11-03
曾参与训练多个前沿模型的知名训练算法研究者 Rohan Anil 发布长文，分享在「算力孤岛」上做分布式训练的实践与观点。
核心内容：
- 团队将一个稀疏 MoE 模型跨两个规模不同、GPU 类型不同的集群训练，两集群相距近半个地球，链路仅双向 25 Gbps，成功跑通；并用 butterfly mixing 以 8 个 learner 间两两交换替代 all-reduce，效果持平标准训练。
- 观点：训练算力很少以整块形式出现，市场上散布着大量几百到几千卡规模的 neocloud 集群，合计可观，前沿学习算法应与这些碎片算力协同设计。
- 算力瓶颈在电力而非芯片：微软 CEO Nadella 直言「手里压着一堆插不上电的芯片」；燃气轮机订单排到 2028、大型变压器交付超 3 年、单个季度至少 20 个数据中心项目被当地反对否决；高盛预计未来 1-2 年美国数据中心按期上线率仅 50-60%（历史约 72%）。
- 文章同时是对真正分布式训练的 call to action，兼谈太空训练的长期设想。
「Infra」频道最新
- llama.cpp 新 PR 修复统一 KV cache，本地多 agent 推理显著提速 — jacek2023 · 2026-11-03
- Gary Marcus 晒图：CoreWeave 股价半年暴跌 57.88% — GaryMarcus · 2026-11-03
- Pinokio 推「Remote AI」更新，本地 AI 可远程调用 — cocktailpeanut · 2026-11-03
- Pinokio 更新上线 Remote 功能，本地 AI 应用可远程操控 — cocktailpeanut · 2026-11-03
- Starcloud-1 太空运行一周年:全球唯一在轨 H100 曾完成太空训练 — ycombinator · 2026-11-03
- 华尔街新叙事：超大规模云商 2027 年底转正自由现金流 — inductionheads · 2026-11-03