神经网络训练边界为何是分形？梯度下降的数学同构

S_Conradi · x · 2026-07-24

推文探讨了神经网络超参数调优中的一个有趣现象：模型收敛与发散的学习率边界实际上是一个分形（Fractal）。

作者指出，梯度下降的数学本质是一个迭代映射 $\theta \to \theta - \eta\nabla L(\theta)$，这与绘制曼德博集合的复变函数 $z \to z^2 + c$ 高度同构。当你不断迭代一个非线性函数并观察其值是否保持有界时，就会自然产生分形结构。这解释了为什么在寻找最佳学习率时，参数空间的探索会像海岸线一样复杂且具有自相似性。