L1 为何能做特征选择而 L2 不能？一文讲透正则化的几何原理
techNmak · x · 2026-11-03
两个模型用同样的数据、特征和损失函数，一个会消掉多个特征、一个全保留——差别可能只在 L1 与 L2 正则化的数学选择上。
作者 techNmak 的解释脉络：
- 惩罚方式：L1 用系数绝对值之和，L2 用系数平方和；L2 只把系数缩小而不归零，L1 可把部分系数压到恰好为零，等于删掉对应特征。
- 几何原因：二维下 L1 约束是菱形、L2 是圆形；凸损失最小化时，菱形的「角」更容易落在坐标轴上，解落在轴上就意味着某系数恰为零。这就是 Lasso 能在训练中做特征选择、Ridge 通常保留非零系数的原因。
- 权衡：强相关特征下 Lasso 可能只留其一、压掉另一个；Ridge 则把系数更平摊。没有普适最优，特征缩放、正则强度和数据结构都影响结果。
核心洞见：正则化不只控制权重大小，还能决定模型用哪些特征——绝对值与平方的几何差异，直接改变训练出的模型结构。
「研究」频道最新
- CUA-Master 用双循环递进框架持续进化计算机操作 Agent — Xinlei Yu · 2026-11-03
- 上海交大等发布 CrossSWE 基准：编码 Agent 跨仓库协作仍吃力 — Silin Chen · 2026-11-03
- LLM 预测经济学实验效应:最优模型误差仅 0.054 SD,优于传统基准 — RobbWiller · 2026-11-03
- 同一策略换个物理引擎就翻车:Manda 实测四大仿真器迁移效果 — facontidavide · 2026-11-03
- 低价模型多次采样检出 80% 漏洞，成本仅前沿模型 13% — andreamichi · 2026-11-03
- Anthropic 用 Claude 证明 100+ 开源库汇编级安全属性 — AxSaucedo · 2026-11-03