「外星优化器」兴起：搜索与元学习正取代手工设计的学习规则

_rockt · x · 2026-11-12

研究者提出「alien optimizers（外星优化器）」概念：优化器研究传统上追求跨架构通用、简洁优雅的学习算法，但近两个月出现了越来越多能力强却复杂、特设（ad hoc）的优化器——它们由搜索和元学习自动发现，而非人工设计。作者认为这一趋势会加速，产生与架构协同进化、样本效率远超手设计规则的优化器，代价是复杂度上升。与 Sakana AI 的 Robert Lange 等合作，用 Eureka Machine 对这类外星优化器做了实验，展示了 AI 搜索出的极富创造力的更新规则。