经济学家常误解过参数化：隐式正则化正是大网络的关键
Afinetheorem · x · 2026-09-07
经济学家 Jesús Fernández-Villegas 等人指出，经济学界常抱怨深度神经网络必须正则化，这是个普遍误解：经济学本身一直在做正则化——回归中加控制变量就是手工正则化，没有交叉验证也不明确惩罚函数；贝叶斯先验、样条平滑、核带宽、截断皆是同理，只有 ridge/lasso 是公开显式的。
大神经网络的妙处在于正则化是隐式的：SGD 及其变体会在所有完美拟合训练数据的解中自动挑出范数最小的那个。同一串讨论还提到 Mahdi Kahou 与 Fernández-Villegas 的合作研究《过参数化的祝福》：高度过参数化能显著缓解网络对初始化的依赖。
「研究」频道最新
- 前 Google Brain 研究员：塑造前沿的算法突破大多在 1e20 FLOPs 内发现 — _arohan_ · 2026-09-07
- GlossoGen 论文：LLM 智能体间涌现出人类无法理解的新语言 — abenitezburraco · 2026-09-07
- arXiv 论文攻克在线公平分配三大开放问题，证明多重不可能性 — chaumian · 2026-09-07
- Domingos 一句话论架构：输入端循环是坏设计，推理深度循环才是好方向 — pmddomingos · 2026-09-07
- LoRA 收敛慢有救了：新研究直击随机降投影的优化缺陷 — burkov · 2026-09-07
- AI 解码鲸鱼「语言」：通过干预潜在空间探听鲸话 — maier_ak · 2026-09-07