回看 muP 奠基论文:Tensor Programs IV 让无限宽网络真正学到特征
burny_tech · x · 2026-11-10
作者分享 Tensor Programs IV(Greg Yang、Edward J. Hu,ICML 2021)并附带讨论「理论构建是否总在实证之后」:他认为理论先行于零散试错同样有效。
论文要点:
- 标准参数化与 NTK 参数化在宽度趋无穷时无法学习特征,而特征学习对 BERT 等预训练与迁移学习至关重要。
- 提出对标准参数化的简单修改(muP),使无限宽极限下仍可进行特征学习,并用 Tensor Programs 技术推导出极限的显式公式。
- 在 Word2Vec 和基于 MAML 的 Omniglot 少样本学习两个依赖特征学习的任务上精确计算极限,结果优于 NTK 基线和有限宽网络;宽度增大时有限宽网络逐渐逼近无限宽特征学习性能。
该工作是 muTransfer 等超参迁移技术的理论基础。
所属事件:从 muP 到概率神谕：理论先行方法设计引热议(2 条相关)→
「漫话AGI」频道最新
- 爆料称 Anthropic 在训练中限制 Fable/Mythos 5.2 的 RSI 关键能力 — TinfoilTricorn · 2026-11-10
- 创业者自省:AI 墓地里将塞满「惊艳但没必要」的产品 — tech__unicorn · 2026-11-10
- Matt Clancy 团队拟孵化新型组织，借 AI 财富推动进步议程 — Afinetheorem · 2026-11-10
- Miles Brundage 推荐视频：如何监督自动化 AI 研发 — Miles_Brundage · 2026-11-10
- Dan Koe 拆解一人 AI 内容生意：采访先行，首单月费 2500-5000 美元 — xiaohu · 2026-11-10
- 一人一提示词 550 美元做出的作品，AAA 团队数亿预算怎么办 — TAbrodi · 2026-11-10