SoftServe 拟牛顿优化方法实现深度学习大规模扩展

Diana Cai、Julia Gower 等人发布预印本 SoftServe，提出一族专为现代深度学习设计的可扩展拟牛顿优化方法，解决了拟牛顿法长期受限于非凸目标函数与参数规模的问题，可扩展到超大规模神经网络并在 GPU 上运行。作者称其在病态科学计算任务上胜过 Adam 与 Muon。该方法更新规则基于二次矩阵方程的解，延续了团队 ICML 2024 论文 Batch-and-Match 的思路。

2026-10-02 ~ 2026-10-02 · 3 条相关

• SoftServe：面向非凸目标的拟牛顿法，可扩展至超大神经网络 — dianarycai · 2026-10-02
• SoftServe 拟牛顿法上 GPU,病态科学任务胜过 Adam 与 Muon — dianarycai · 2026-10-02
• SoftServe 更新源自二次矩阵方程,延续 Batch-and-Match 思路 — dianarycai · 2026-10-02