开发者拆解 Qwen3-8B 权重发现层级激活复杂度差异

开发者 maxsloef 对 Qwen3-8B 权重进行拆解分析,发现一种模式冗余现象:浅层和深层神经元学到的激活模式明显比中间层简单得多,并以「每层 mean cos²」指标量化了这一差异。其技术补充帖还解释了分析所用的神经元定义:在该模型中,一个神经元由 gate、up、down 三个向量组成,gate 与 up 负责检测概念,down 则将结果写回残差流。

2026-10-21 ~ 2026-10-21 · 2 条相关

• 网友拆 Qwen3-8B 权重:首末层神经元激活模式远比中间层简单 — maxsloef · 2026-10-21
• Qwen3-8B 神经元结构解析:gate/up 检测概念,down 写回残差流 — maxsloef · 2026-10-21