告别 4000 TPU 月：作者称通用学习型优化器无需天文算力

burkov · x · 2026-10-13

现代基础模型训练高度依赖 Adam 等手工设计的优化器，而"学习型优化器"——用数据训练出更新规则本身——虽被学界长期追求，却因泛化差、大模型上不稳定、训练成本极高而难以落地。此前的 SOTA 学习型优化器 VeLO 消耗约 4000 个 TPU 月的算力，仍无法可靠训练超过 6 亿参数的模型。

作者在文章中论证：一个有效且通用的学习型优化器并不需要如此巨大的训练算力，并介绍其方法与实验结果。若成立，意味着优化器设计这一 hand-crafted 环节有望被数据驱动方法取代，从而缩短大模型训练时间、降低训练成本。