新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练
aaron_defazio · x · 2026-10-20
针对新实验室想预训练前沿模型却买不到足够同置芯片的痛点,这项新工作提出用更新协方差白化(whitening)的优化器方法,让 SOAP 与 SPlus 在 96+ 个 DiLoCo worker(可理解为 96 家不同算力供应商)间实现良好的 worker scaling。这意味着分布式预训练可以跨非同置、多供应商的异构算力进行,绕开「一家供应商给不齐芯片」的限制。作者附了 9 条技术线程展开细节。
所属事件:新研究用 SOAP/SPlus 优化器让 96 个 DiLoCo 节点稳定扩展预训练(2 条相关)→
「Infra」频道最新
- Google Cloud 提出 Agent Substrate：挂起/恢复成智能体核心原语 — rseroter · 2026-10-20
- RTX 5090 笔记本跑本地 LLM 频繁挂死，CUDA graphs 是元凶 — SOC_FreeDiver · 2026-10-20
- 亚马逊推出 TorchNeuron 开发工具,直击 Nvidia 的 PyTorch 主导地位 — TechCrunch AI · 2026-10-20
- Agent 推理成本失控？Reddit 开发者热议 GPU 紧缺下的应对之策 — aruthesa · 2026-10-20
- Taco：跨 7 种后端哈希一致的整数化 LLM 压缩方案 — phoenix10701 · 2026-10-20
- 万亿参数之后的推理难题：宽度、深度与百万上下文 — philipkiely · 2026-10-20