系列博文重推 AdaGrad:用上界最小化完整复原自适应梯度收敛推导
aaron_defazio · x · 2026-09-05
Jianlin Su 的《Revisiting Convergence Results in Convex Optimization》系列第九篇,重新审视自适应梯度算法的开山之作 AdaGrad。文章以「收敛性分析 → 最小化上界 → 得到最优预条件矩阵」的路线,完整复现了 AdaGrad 的推导过程,把自适应学习率方法放进统一的凸优化收敛框架中理解,适合想吃透优化器理论的读者。
「研究」频道最新
- Xbench:把 Twitter 当作 AI 评测器,追踪真实用户用脚投票 — thedealdirector · 2026-09-06
- Principia 基准发布：用单摆周期检验视频模型是否真懂物理 — anand_bhattad · 2026-09-06
- Jerry Liu：RLM 另一半是程序化递归，如今叫「动态工作流」 — lateinteraction · 2026-09-06
- 博主爆料：OpenAI 或已部分破解纳维-斯托克斯问题 — scaling01 · 2026-09-05
- 数千条 MMO 任务文案实测：LLM 局部通顺、全局崩坏，20-30 轮纠正仍无用 — HLCYSWAP · 2026-09-05
- Agent's Last Exam 成绩暴涨拆解:计算机使用+55 域 RL 环境 — dejavucoder · 2026-09-05