分布式训练把闲置GPU变成算力

bittingthembits · x · 2026-07-17

帖子转述 IOTA SN9 的 Project Orion 进展：他们声称已在“开放互联网”上的普通 GPU 之间完成一次 **100B 参数模型预训练**，这是其所知最大的分布式 LLM 预训练运行之一。作者强调这类 **liquid training** 的意义不只是“买更多 GPU”，而是把分散、可中断、原本效率不高的算力变成可用训练容量；据称这次运行达到了传统数据中心方案约 **65%** 的速度，但内部测试显示最终模型质量仍可与常规方式相当。帖子还把这一点解读为：如果能规模化，AI 训练的成本结构和 GPU 经济学都会被改写。