研究追踪 Massive Activation 生命周期:weight decay 主导其兴衰
Aimpoint-Digital · hf · 2026-10-12
Aimpoint Digital Labs、Mistral AI 与纽约大学的论文系统研究了 transformer 中的 massive activations(残差流中数值远超常规的激活,与 attention sink 相关)在训练全过程中的演化规律。
- 出现与固化:承载 sink 的通道随随机种子不同而异,但在单次训练中很早就稳定;随训练推进,周围通道被侵蚀,sink 集中到少数冗余通道上。
- 核心发现:weight decay 因果性地控制全局激活规模的兴衰——在峰值附近移除 decay 会让规模持续上升;保留 decay 则即使学习率不变也会下降。
- 平衡模型:提出 AdamW 预条件增长对抗 weight decay 的平衡模型,扫 decay 系数 λ 时峰值时刻近似 log-线性移动,峰值幅度近似按 λ^{-1/2} 缩放。
- 梯度衰减跟随 sink token 的集体 RMS 幅度而非任何单一通道;优化器测量显示预条件化能在原始维持力不足时仍支撑大通道群体。
这把 weight decay 确立为训练期调节激活幅度的实际杠杆。代码已开源。
「研究」频道最新
- 伯克利研究：10 分钟 ChatGPT 就会削弱独立思考耐力 — RachelVT42 · 2026-10-13
- Radiolab 推出「Math Vs Machine」：数学家直面 AI 冲击波 — stevenstrogatz · 2026-10-13
- 人脑微蛋白图谱上线 Hugging Face:收录超 1000 种微蛋白 — huggingface · 2026-10-13
- 循环 Transformer 多跳推理卡在 8%,DiscoLoop 免重训提到近 100% — jasondeanlee · 2026-10-13
- 微软StudentSim：用AI模拟学生给AI家教练手 — Microsoft Research · 2026-10-13
- AI 代码需要规格说明:形式化验证如何让 Agent 更安全 — The Cognitive Revolution · 2026-10-12