Rennala NSGD 论文入选 NeurIPS 2026,为非欧几何 SGD 提供高概率复杂度界
peter_richtarik · x · 2026-11-06
- 核心问题:Muon、Shampoo 等矩阵感知优化器的成功表明非欧几何对深度学习(含 LLM 训练)潜力巨大,但一般赋范空间下随机优化的理论理解仍然有限,分布式场景尤甚。
- 理论贡献:针对任意范数下的光滑非凸优化分析 minibatch SGD,利用 κ-正则赋范空间框架,在对偶范数的轻尾条件下推导出高概率 oracle 复杂度界;几何影响通过正则常数 κ 显式呈现。欧氏情形可恢复标准 minibatch SGD 速率(仅差对数因子);某些非欧几何与噪声模型下甚至优于欧氏噪声假设转换得到的界,把维度线性依赖降为对数依赖。
- 算法:提出半异步分布式算法 Rennala NSGD,在 worker 计算时间固定且异构的情况下给出 wall-clock 时间复杂度保证。
「研究」频道最新
- PNAS 论文：8-12 岁儿童比 RL 智能体探索更远，驱动因素是赋权 — _akpiper · 2026-11-06
- 谷歌开源 Agile Deliberation:用边界案例把模糊分类标准磨清晰 — aigclink · 2026-11-06
- ETH RSL 人形机器人 ACP：无参考动作、机载 50Hz 规划contacts — ChongZzZhang · 2026-11-06
- 系统性综述：GenAI 是助长还是削弱批判性思维，取决于怎么用 — _akpiper · 2026-11-06
- 开发者在人形机器人上完整验证 AME-2，仿真里踩石过障 70cm — ChongZzZhang · 2026-11-06
- 公民科学标注新思路：小组协商胜过独立标注的群体智慧 — _akpiper · 2026-11-06