动态Tanh与门控消除异常

alfcnz · x · 2026-07-09

帖子总结了一项研究的消融结论：把 RMSNorm 换成 DynamicTanh 后，spikes 消失；再加入条件门控后，attention sink 也消失。作者解释说，sink 可以理解为模型用来处理多余注意力的“垃圾收集器”，加上门控后这种现象就不再出现。