回顾用程序搜索自动发现优化器：Lion 与 VeLO 两篇代表作

akbirthko · x · 2026-10-24

作者回顾用搜索方法自动发现深度学习优化器的研究，列出两篇代表作：Google 的 Lion（Symbolic Discovery of Optimization Algorithms，arXiv:2302.06675）与 DeepMind 的 VeLO。

Lion 将算法发现形式化为程序搜索，得到的优化器只跟踪动量，比 Adam 更省内存：ViT 在 ImageNet 上精度提升最高 2%，JFT 预训练算力节省最高 5 倍，扩散模型训练算力最多降 2.3 倍。作者补充，若把成本与价值的动态变化纳入研究会是更有意思的方向。