新模型架构引热议：QK-Norm 带 gamma 而 V-Norm 无 gamma 的不对称设计

ML 研究者围绕 Songlin Yang 分享的某新模型架构细节展开讨论：该设计在 Q/K 归一化上保留可学习的 RMS gamma 缩放系数，而 V 归一化则不带 gamma，这种不对称处理引发关注。此外，其 q/k/v 注意力残差的拆分设计也被点评称赞颇为出色。讨论聚焦模型内部实现的技术亮点，属于对新架构训练配置的深度解读。

2026-11-13 ~ 2026-11-13 · 3 条相关

• 结构研究者讨论新架构亮点：value norm 且无 RMS gamma — SonglinYang4 · 2026-11-13
• 新架构采用 QK-Norm 带 gamma、V-Norm 无 gamma 的不对称设计引关注 — stochasticchasm · 2026-11-13
• 训练细节点评:Q/K norm 带gamma而 V norm 不带,注意力残差拆分引关注 — stochasticchasm · 2026-11-13