新论文提出可解的浅层 MLP 训练模型:真实网络学习轨迹大致吻合
CatAstro_Piyush · x · 2026-11-17
Joey Turnbull 等人发布新论文,针对「连两层 MLP 如何学习特征都没有简单图景」这一现状,提出一个简单且可解析求解的浅层 MLP 训练模型,并发现真实 MLP 的训练过程大致遵循该模型的预测。
配图显示:在小目标函数(Hermite 目标,如 z₅、z₅z₇ 等)上,真实 MLP 的在线 MSE 随有效优化时间 η·niter 的衰减曲线与 ODE 理论预测高度重合;不同初始化/目标复杂度下,ODE 预测的最优时间与实测在双对数坐标上几乎落在对角线上。
这是用可解理论模型刻画神经网络训练动力学的一步,对机制可解释性与学习理论研究有参考价值。
「研究」频道最新
- 阿里达摩院等提出 Benchmark Health Index,158 个基准接受体检 — jiqizhixin · 2026-11-17
- Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统 — sebkrier · 2026-11-17
- 同行评审之争:顶级学者辩「会议审稿是保护思想多样性,还是失效的信号」 — neurocy · 2026-11-17
- 客观衡量 AI 进步太难:作者质疑 ECI 指标,根源或在基准本身 — maksym_andr · 2026-11-17
- METR 评估:Anthropic 内部基准增速升至此前 1.9 倍,红线证据遭大量删改 — maksym_andr · 2026-11-17
- AutoBaxBench 复测:前沿模型代码安全仍大面积翻车 — scaling01 · 2026-11-17