去掉激活偏置这项零成本小改动,ViT/DiT/GPT 训练全面受益
ZimingLiu11 · x · 2026-10-31
Kaiming 团队系列推文介绍一项近乎免费的训练技巧：移除激活偏置（activation bias，即对激活值施加的 shift）。
- 效果：在 ViT（图像分类）、DiT（图像生成）与 GPT（语言预训练）上均取得合理提升，配图显示 shifted 模型的 loss residual 持续低于 baseline，且 ViT-B 的 hidden state overshoot 被抑制。
- 机理解释：从 loss landscape 视角看，去掉激活偏置后 Hessian 特征值显著变小（整个训练过程中都更平），优化不再陷入尖锐的「谷底」方向，从而减少震荡与 loss spike。
- 代价：几乎为零，作者称 "literally free"。
作者还附上了 auto-encoder 实验展示表示随激活偏置的单调演化。论文链接见原帖。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「Infra」频道最新
- 15 岁开发者手写滑动窗口注意力,T4 上提速 4.2 倍省 21% 显存 — vankownlaw · 2026-10-31
- 曝微软向6万员工提供离职补偿，将人力支出转向数据中心 — Polymarket · 2026-10-31
- Baseten 拟融资 20 亿美元，估值翻倍至 300 亿 — rohanpaul_ai · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- php2shell 漏洞一周后约 25 台 Palo Alto 防火墙遭 root 级攻陷 — cyb3rops · 2026-10-31
- 法国通过互联网流量税:每 GB 流量征收 0.055 欧元 — helloplanets · 2026-10-31