新论文证明:再笨的优化器随机采样,ReLU 网络也能自适应泛化
yuxiangw_cs · x · 2026-11-04
Yu-Xiang Wang 与 Sunil Madhow 的 arXiv 论文《"Deep lifts": Neural networks can generalize even with the dumbest optimizer》研究了「好权重在大网络中有多普遍」这一理论问题——这也是理解 Astra 之类方法为何能「说中」Qwen 权重的理论基础。
- 设定:从宽度 W、深度 D 的 ReLU 架构中均匀随机采样一个能拟合数据的参数 θ̂,而数据其实可被更小的 w×d 网络解释。
- 结论:尽管选择规则完全「无知」,θ̂ 仍以 Õ(wdWD/n) 的速率自适应泛化,而非受制于完整 W×D 假设类的 VC 维。
- 机制:小的 w×d 参数「见证」了指数级体积的 W×D 拟合参数空间,远超泛化差的参数体积;作者用「deep lifting」证明技术显式构造了这组近似等价的参数,并把体积与 witness 的稳定性挂钩。
- 应用:这些技术可将逼近论结果转化为非参数类的泛化保证;均匀随机插值器的泛化甚至能在标签损坏下存活。
一句话:能拟合小网络的「好权重」在大网络里无处不在,连最笨的优化器都会自适应地命中它们。
所属事件:新论文证明最笨优化器随机采样也能让 ReLU 网络泛化(2 条相关)→
「研究」频道最新
- 开源工具 franken_doppler_finder:靠螺旋桨多普勒曲线定位音视频来源 — doodlestein · 2026-11-04
- CMU 论文:预训练数据够多时,微调后 AdamW 反超 Muon — AdtRaghunathan · 2026-11-04
- Evo2 基因组模型用上下文学习从头设计抗体与 CRISPR 系统 — KevinKaichuang · 2026-11-04
- CMU 开源 Pixel 机器人:低成本轮式人形+UMI 数据采集全栈方案 — ankurhandos · 2026-11-04
- Google 用混合编码流程分析 16000+ 篇 NLP 论文的局限性陈述 — vinodkpg · 2026-11-04
- Cell 论文效仿希尔伯特提出 15 大细胞生物学 AI 挑战 — StephenQuake · 2026-11-04