研究者证明大网络中「好权重」无处不在,最笨优化器也能泛化

yuxiangw_cs · x · 2026-11-04

研究者 yuxiangwcs 介绍 Sunil Madhow 团队的最新理论工作(Astra 可「说出」Qwen 权重):他们证明了大神经网络中可泛化的「好权重」无处不在——即使是「最笨的」优化器也能自适应地泛化。

作者给出一个直观例子:假设存在一个小神经网络能实现完美分类器,但你拟合的是一个远大于它的大网络,那么会有天文数字个权重配置做到零训练误差,其中一些会严重过拟合。结果表明,如果闭着眼睛随机抽一个配置,它往往就能直接泛化。附图以「interpolating witness」等概念示意了参数空间中插值参数、深提升区域与高风险参数的几何关系。