Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率
bremen79 · x · 2026-11-18
优化理论知名学者 Francesco Orabona 发布新博文《The Wrong Explanation of Preconditioning》,挑战深度学习圈关于预条件化(preconditioning)的主流叙事。
- 经典定义 vs 深度学习神话:经典优化里预条件化有精确定义——改善 Hessian 的条件数(condition number)从而加速收敛;而深度学习语境下「矩阵=适应问题几何」的说法缺乏这层严格对应;
- 核心结论(TL;DR):全矩阵 AdaGrad 的理论界限从不优于、且常常劣于使用标量学习率的界限——「同一个推理去掉矩阵反而得到更好的界」,意味着为矩阵存在性辩护的经典解释站不住脚;
- 「炼金术」批评:作者强调应用领域的好算法不需要理论解释也能有效,但若坚持要理论,解释必须讲得通——问题不在于用启发式,而在于用讲不通的理论去为启发式背书,正如炼金术士的反应真实、解释却荒谬;
- Proper 理论的標準:真正的预条件化理论应指明改善了什么(条件数、曲率—噪声关系、某种几何),且基于假设的解释需在真实世界验证假设。
对理解 Shampoo 等矩阵式优化器的理论根基有直接参考价值。
「研究」频道最新
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- StellarEdge Auriga 技术报告:VGLM 决策接入可验证执行,42 任务成功率 57.74% — jiqizhixin · 2026-11-18
- AHA!无需外部 LLM 的权重空间编程,Qwen3.5-0.8B GSM8K 从 14 分升至 71.2 — hbouammar · 2026-11-18
- 上海 AI 实验室开源 EgoExplorer:可穿戴管线采集全身移动操作数据 — 量子位 · 2026-11-18