网友拆 Qwen3-8B 权重:首末层神经元激活模式远比中间层简单

maxsloef · x · 2026-10-21

开发者 maxsloef 在翻看 Qwen3-8B 权重时发现一种奇怪的模式冗余:浅层和深层神经元学到的激活模式明显比中间层简单得多。配图以「每层 mean cos²」指标量化了这一点——第一层附近激活相关性高达约 10%,中间大部分层稳定在 1-2%,到第 35 层(最后一层)又回升至约 4-5%,远高于同层随机打乱的 null 基线。

作者随后补充了技术背景:在该模型中一个神经元由 gate、up、down 三个向量构成,gate 和 up 充当残差流中概念的检测器,控制 down 向量写回残差流的幅度;gate 带 SwiGLU 非线性而 up 没有。这一观察暗示首末层的 FFN 可能承担更简单、更冗余的功能角色。