ICML 论文分享：利用重参数化与权重衰减实现神经网络稀疏化

burny_tech · x · 2026-08-11

分享了一篇 ICML 2023 论文（arXiv:2210.01212）。研究表明，在神经网络中加入人工重缩放对称性可以实现模型的稀疏化。因为重缩放对称性结合权重衰减等价于 L1 稀疏性，这可用于训练非常稀疏的神经模型。论文提出的 spred 方法，通过简单的重参数化和标准 SGD 即可精确求解 L1 约束，并在基因选择和高维特征寻找等任务中验证了其有效性。