新 notebook 证明学习率边界会呈现分形结构

S_Conradi · x · 2026-07-23

这条帖子讲的是一个很反直觉的研究结论：超参数调优的边界本身是分形的。也就是说，能训练和会发散的学习率之间，不是平滑边界，而是像海岸线一样有无穷细节的“岸线”。

作者把原因解释为梯度下降可看成一个迭代映射，和 Mandelbrot 集合的生成方式类似：只要不断迭代非线性函数、判断是否发散，就可能出现分形结构。帖子还提到一个交互式 notebook：在缩放边界时，它能在 GPU 上大约 1 秒内重算 65,536 次完整训练；在真实数据集 MNIST-1D 上，这种分形现象依然存在。该 notebook 使用了 marimo、JAX、marimo-pair 和 Claude Code 构建。