给激活函数加负偏移即可降低后期训练损失
ZimingLiu11 · x · 2026-10-31
Ziming Liu 分享了一个看似微小但有效的训练技巧:给常用激活函数加一个负偏移(ReLU→ReLU−0.2、GeLU→GeLU−0.115、Swish→Swish−0.077),即可在训练后期获得更低的 loss。
配图实验显示:非零偏移的激活会导致病态的 loss 景观,表现为 hidden state 均值在第 100 步附近明显「overshoot」且轨迹不平滑,导致后期收敛变慢;带偏移的模型早期学习略慢但很快反超,最终 loss 更低(ReLU/GELU/Swish 三种激活下均成立)。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「研究」频道最新
- 实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平 — jesdga95 · 2026-10-31
- 25位学者联合论文：禁产训练芯片可实现前沿AI硬性暂停 — birchlse · 2026-10-31
- 64 人出声思考解 ARC-AGI-3：人类与 LLM 学习方式大不相同 — xuanalogue · 2026-10-31
- Dana Moshkovitz 报告独特游戏猜想的证明：全新纠错码构造 — aran_nayebi · 2026-10-31
- MIT 博士刘子鸣创办 MetaCircle：让 AI 自己发现 AI 的隐藏规律 — ZimingLiu11 · 2026-10-31
- 贝叶斯多臂老虎机研究:多次选择与探索激励能否解决推荐冷启动失衡 — burkov · 2026-10-31