去掉激活偏置：ReLU减0.2等简单平移可降后期训练损失
ZimingLiu11 · x · 2026-10-31
Moonshot AI 研究员 Ziming Liu 分享一个训练发现：简单地把激活函数向下平移——ReLU→ReLU−0.2、GeLU→GeLU−0.115、Swish→Swish−0.077——即可让训练后期损失更低，尽管前期损失略高但很快反超。
进一步的实验显示，去掉激活偏置后表征演化轨迹更加平滑、单调：带偏置时参数轨迹会出现突兀的急转弯，去除后则沿损失面单调下降；自编码器实验同样验证了去除偏置后表征呈单调演化。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「研究」频道最新
- 「Image-Space Rule Discovery」论文获 ACCV 2026 接收 — HirokatuKataoka · 2026-10-31
- 实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平 — jesdga95 · 2026-10-31
- 25位学者联合论文：禁产训练芯片可实现前沿AI硬性暂停 — birchlse · 2026-10-31
- 64 人出声思考解 ARC-AGI-3：人类与 LLM 学习方式大不相同 — xuanalogue · 2026-10-31
- Dana Moshkovitz 报告独特游戏猜想的证明：全新纠错码构造 — aran_nayebi · 2026-10-31
- MIT 博士刘子鸣创办 MetaCircle：让 AI 自己发现 AI 的隐藏规律 — ZimingLiu11 · 2026-10-31