新论文提出可解的浅层 MLP 训练模型:真实网络学习轨迹大致吻合

CatAstro_Piyush · x · 2026-11-17

Joey Turnbull 等人发布新论文,针对「连两层 MLP 如何学习特征都没有简单图景」这一现状,提出一个简单且可解析求解的浅层 MLP 训练模型,并发现真实 MLP 的训练过程大致遵循该模型的预测。

配图显示:在小目标函数(Hermite 目标,如 z₅、z₅z₇ 等)上,真实 MLP 的在线 MSE 随有效优化时间 η·niter 的衰减曲线与 ODE 理论预测高度重合;不同初始化/目标复杂度下,ODE 预测的最优时间与实测在双对数坐标上几乎落在对角线上。

这是用可解理论模型刻画神经网络训练动力学的一步,对机制可解释性与学习理论研究有参考价值。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →