新论文提出统一框架设计免学习率优化算法，覆盖 AdaGrad 与 parameter-free
bremen79 · x · 2026-10-30
- 作者与 Julien Grand-Clément、Joon Kwon 合作的新论文（arXiv:2610.39531），给出统一设计免学习率（learning-rate-free）优化算法的框架，同时涵盖改进版 AdaGrad 类算法与 parameter-free 算法。
- 基础思想可追溯至 Blackwell，关键技巧已出现在 Grand-Clément & Kroer（NeurIPS'21、2024）的工作中；本文大幅扩展了该方法并简化了数学推导，作者称框架简单易懂、便于使用。
- 配图展示了核心更新式与锥形 FTRL 定理：在有限维赋范空间或 Hilbert 空间中，取 β≥2、at=βG²t 时可同时保证对任意 u∈V 的 regret 上界，且 RegretT(a)<ε；收敛保证可通过对迭代取平均并用 Jensen 不等式得到。
「研究」频道最新
- 芝加哥大学办脑科学讲座：海马涟漪与视觉想象 BCI — plopesresearch · 2026-10-30
- 机器人数据大多只有成功案例，首个失败轨迹开放数据集启动 — chris_j_paxton · 2026-10-30
- Schmidhuber 重申 1990-91「奇迹年」奠定 GAN、Transformer 前身等七项基石 — SchmidhuberAI · 2026-10-30
- NBER 数字经济学与 AI 教程开放申请，斯坦福举办截止 11 月 3 日 — avicgoldfarb · 2026-10-30
- FlexUMM 论文：统一多模态模型表征空间其实并不统一 — jindong_wang92 · 2026-10-30
- 数据泄漏已波及 648 篇论文，autoarxiv 一键自动复现 arXiv 研究 — pandeyparul · 2026-10-30