拆分小于20MW数据中心也能训练前沿模型：分布式训练宣称无护城河
_arohan_ · x · 2026-11-05
Arohan 转发 Core Automation 的长文《The Hitchhiker's Guide to Training on Compute Islands》，并下判断：今天靠拼凑多个 <20MW 的小型数据中心就能训练到前沿水平，「训练没有护城河，deep learning finds a way」。
文章核心论点与数据：
- 算力市场上散落着大量几百到几千卡的小集群（neocloud），加总可观；真正瓶颈是电力、电网设备和土地而非芯片。Nadella 原话：「你手里可能有一堆芯片插不上电」。
- 燃气轮机已被订到 2028 年，大型变压器交付超 3 年，单季度至少 20 个数据中心项目被当地反对否决；Goldman Sachs 预计未来 1-2 年美国数据中心只有 50-60% 能按期上线（历史约 72%）。
- 团队实测：跨两个规模不同、GPU 类型不同、相距近半个地球的集群，用 25 Gbps 双向链路训练了一个稀疏 MoE 模型；并重访 butterfly mixing，用 8 个 learner 的两两通信替代 all-reduce，效果与标准训练相当。
结论：学习算法应与「碎片化算力世界」协同设计，呼吁真正分布式训练的研究。
所属事件:跨洲分布式训练实录引热议：拆散小数据中心也能训前沿模型(3 条相关)→
「Infra」频道最新
- Reddit 网友提议:用 Agent 把碎片化自定义推理引擎拆解成可复用积木库 — nasone32 · 2026-11-05
- LZ4 v1.11.0 发布:库级多线程压缩,16 线程跑出 7550 MB/s — jedisct1 · 2026-11-05
- 开发者盛赞 turbopuffer：2027 沙盒梯队榜引热议 — davidcrawshaw · 2026-11-05
- 独立开发者预训练模型:10T tokens 备料,锁定 Apple M5 与 DGX Spark — jon_durbin · 2026-11-05
- AMD 7900 XTX 跑混元视频 1.5 T2V 出噪点图求助 — Fragrant-Throat7048 · 2026-11-05
- 彭博专栏作家:想建数据中心或靠其吃饭的人必读他两个月前的文章 — asusarla · 2026-11-05