Qwen3-8B 神经元结构解析:gate/up 检测概念,down 写回残差流
maxsloef · x · 2026-10-21
这是 maxsloef 对其 Qwen3-8B 权重观察的技术补充帖,解释了分析所用的神经元定义。
在该模型中,一个神经元由三个向量组成:gate、up 和 down。gate 与 up 充当残差流中概念的检测器,决定 down 向量被写回残差流的幅度;gate 带非线性(SwiGLU),up 则没有。理解这一结构后,「首末层激活模式更简单」的发现才有了可解释的载体。
所属事件:开发者拆解 Qwen3-8B 权重发现层级激活复杂度差异(2 条相关)→
「模型」频道最新
- 一名研究员 3.5 个月、不到 1000 万美元训出编程基座模型 Mirendil-Base — bneyshabur · 2026-10-22
- OpenAI 官宣:模型已登陆 Azure 与 AWS,即将上线 Google Cloud — romainhuet · 2026-10-22
- Flint 3 小时迭代出自行车需求模型：验证集 RMSLE 降 30.8% — cong_ml · 2026-10-22
- Flint 把自动研究搬上笔记本：从 OpenAI 纳维-斯托克斯到本地跑研究闭环 — cong_ml · 2026-10-22
- 开发者吐槽 Grok 上下文只进不出：无裁剪命令也不知窗口大小 — alexcovo_eth · 2026-10-22
- X 内嵌 Grok 聊天首字延迟近 20 秒，作者称不如粘贴去 Google — BraceSproul · 2026-10-22