研究揭示神经网络学习率边界呈分形结构

近期开发者基于经典论文构建交互式工具,直观展示了神经网络超参数调优中的分形现象。研究发现,梯度下降本质上是一个迭代映射,与曼德博集合的递推关系相似。这意味着模型收敛与发散的学习率边界并非平滑曲线,而是像海岸线一样具有无穷细节的分形结构。

2026-07-23 ~ 2026-07-24 · 4 条相关