深度或成 attnres 与 full attention 胜负手：层数上百时天平会倾斜吗

stochasticchasm · x · 2026-08-28

一位研究者对 attention residual（attnres）与 full attention residual 的对比提出疑问：目前两者的评测成绩非常接近，如果网络深度更极端（100+ 层），排名可能会翻转——因为 attnres 在早期层始终可以做全幅度的残差写入。在回复中他还分析了原设计的两个细节：残差回写中的系数 2 可能与初始化动态有关（sigmoid(0)=0.5，零中心初始化下需要 2×sigmoid 才能恢复正常幅度的回写）；以及记号 \overline{R} 似乎未被使用，但文中又强调 group-RMSNorm 很重要，存在不一致。