NVIDIA 论文探讨 SOAP、Muon 等预训练扩尺度方法
A_K_Nain · x · 2026-07-24
SOAP、Muon 等优化器：LLM 预训练继续扩尺度
这条帖指向一篇 NVIDIA 论文 《SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales》，主题是如何把大语言模型的预训练继续推向更大规模。配图展示了论文标题、作者列表和 NVIDIA 署名。
它的核心是研究本身，而不是产品发布；信息重点在预训练扩展与优化方法上。
「Infra」频道最新
- AMD MI455X 早期测试曝光：432GB HBM4、23.3TB/s 带宽 — art_zucker · 2026-07-24
- Synopsys CEO 称 AI 芯片设计已到 L4，前端用上 6 到 8 个智能体 — Scobleizer · 2026-07-24
- 光子芯片测试台配上了鸡舍热灯 — jwt0625 · 2026-07-24
- 推荐：机器学习系统（ML Systems）学习资源宝库 — dhruv2038 · 2026-07-24
- DeepSeek 算力集群可靠性岗位，折射出组织快速拆分 — teortaxesTex · 2026-07-24
- 开权重模型正在赢在“普通人买得起的硬件”上 — max_paperclips · 2026-07-24