SwiGLU 也像快权重？
francoisfleuret · x · 2026-07-15
这条非常简短，但上下文指向一个关于模型结构的技术判断：有人说 **NVP layers 和 MoEs 像是 fast weights**，作者用一句“**And SwiGLU!**”接话，显然是在补充或认同某种结构类比。 帖子本身信息量不大，但确实是在围绕模型架构概念做技术化讨论，适合归到研究类。
francoisfleuret · x · 2026-07-15
这条非常简短，但上下文指向一个关于模型结构的技术判断：有人说 **NVP layers 和 MoEs 像是 fast weights**，作者用一句“**And SwiGLU!**”接话，显然是在补充或认同某种结构类比。 帖子本身信息量不大，但确实是在围绕模型架构概念做技术化讨论，适合归到研究类。