新论文揭示内层优化器如何决定 DiLoCo 分布式训练的副本扩展
kastnerkyle · x · 2026-10-20
ebelilov 实验室发布 arXiv 论文《How Inner Optimizers Shape Replica Scaling》，研究跨地理分布、互联较差的算力池上用 DiLoCo 等局部优化方法做 LLM 预训练时的副本扩展问题。
关键发现：
- 已知在固定总训练预算下增加模型副本数会导致性能单调下降；此前工作显示内层优化器选 Muon 还是 AdamW 会显著影响这一趋势，但缺乏解释。
- 本文识别出两个关键因素：伪梯度的协方差结构，以及 batch size 对伪梯度噪声尺度的影响。
- 理论与实验均证明基于 whitening 的预条件处理是内层优化器的重要 desideratum；基于 whitening 的内层优化器在 8–96 个副本下都实现强副本扩展，且随参数和数据规模增大，相对数据并行（DP）的优势更明显。
「Infra」频道最新
- 实测 BitNet CPU 推理出错:困惑度达参考值 6 倍,一行修复可解 — matheus-c-feitosa · 2026-10-20
- 数据中心才是真正的回形针,全球债市是那块钢 — m2saxon · 2026-10-20
- AMD 称全球月推理 token 消耗已超 4 亿亿，两年暴涨 95 倍 — Beth_Kindig · 2026-10-20
- Meta 披露吉瓦级超集群 Prometheus:首期已建成,目标百万 GPU — BenBajarin · 2026-10-20
- Cloudflare 推出 System One 抽取模型 Clairic:单次前向、无输出 token、亚秒响应 — Cloudflare Blog · 2026-10-20
- Gartner 预测 2030 年超 80% 新云将失去独立性,小云商靠什么活? — ThingOwn7477 · 2026-10-20