新研究用 SOAP/SPlus 优化器让 96 个 DiLoCo 节点稳定扩展预训练

针对新实验室预训练前沿模型却难以买到足够同置芯片的痛点,ebelilov 实验室发布 arXiv 论文《内层优化器如何塑造副本扩展》,研究在跨地理分布、互联较差的算力池上用 DiLoCo 训练。论文提出对更新协方差做白化的优化器方法,使 SOAP 与 SPlus 能在 96 个以上 DiLoCo 节点上稳定扩展预训练。

2026-10-20 ~ 2026-10-20 · 2 条相关

• 新论文揭示内层优化器如何决定 DiLoCo 分布式训练的副本扩展 — kastnerkyle · 2026-10-20
• 新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练 — aaron_defazio · 2026-10-20