SoftServe 拟牛顿法上 GPU,病态科学任务胜过 Adam 与 Muon
dianarycai · x · 2026-10-02
Diana Cai 等人发布预印本 SoftServe：一族专为深度学习设计的可扩展拟牛顿（Quasi-Newton）优化方法，解决拟牛顿法长期受限于非凸性与参数规模的问题。
- 通过变分目标的曲率估计构造正定曲率，即使存在负曲率也无需线搜索或临时曲率修正。
- 提供对角与 Kronecker 分解两种变体，天然保持正定，可扩展到超大神经网络。
- 用稳定的 Newton-Schulz 迭代替代昂贵的矩阵分解，全部操作转为 GPU 友好的矩阵乘法。
- 在病态问题（RNN、深度自编码器、物理信息神经网络 PINN、136M 参数的物理信息扩散模型）上常常取得低于 Adam、Muon、SOAP 等基线的损失。
预印本：arXiv:2610.02182。
所属事件:SoftServe 拟牛顿优化方法实现深度学习大规模扩展(3 条相关)→
「研究」频道最新
- AI「语音时钟」从嗓音预测衰老速度,成果登 Nature — AnnaCiaunica · 2026-10-02
- ScholarCatalyst 基准：测 AI 能否像人一样提出好研究问题 — PangWeiKoh · 2026-10-02
- 「澄清即监督」入选 NeurIPS Oral,多模态协作训练新思路 — iatitov · 2026-10-02
- Ego-Exo4D-HM 发布：523 小时视频的 4D 人体与手部运动重建数据集 — geopavlakos · 2026-10-02
- Cohere Labs 开讲：用 Lean 形式化验证让 AI 数学推理可机器检验 — Cohere_Labs · 2026-10-02
- 新论文只解剖任务相关网络部分,机制可检查可编辑且成本更低 — leedsharkey · 2026-10-02