新架构采用 QK-Norm 带 gamma、V-Norm 无 gamma 的不对称设计引关注
stochasticchasm · x · 2026-11-13
研究者针对 @SonglinYang4 分享的架构细节展开讨论:该设计在 Q/K 归一化上保留了 RMS gamma(可学习缩放),V 归一化则不带 gamma,并采用了特殊的 Q/K/V attention residual 拆分方式。
讨论者认为这种不对称设计和 attention res 分割是相当有趣的架构选择,值得注意。
所属事件:新模型架构引热议：QK-Norm 带 gamma 而 V-Norm 无 gamma 的不对称设计(3 条相关)→
「研究」频道最新
- BoSS 基准发布:18 万+ 仿星器模拟数据助推生成式模型 — ZhongingAlong · 2026-11-13
- 掉进太阳会发生什么:NASA 数据还原从光球层到核心的全过程 — aakashgupta · 2026-11-13
- 用 Lean 验证 Michael Levin 生物电理论：数学成立率 88%，「柏拉图」成分得 0% — ProfBuehlerMIT · 2026-11-13
- Carl Edwards 提出 AssayBench：让模型学习下一个该做什么实验 — kchonyc · 2026-11-13
- Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著 — stochasticchasm · 2026-11-13
- 分析 135 次模型发布：AI 实验室几乎不共享安全基准，最高仅半数报告 — ChenhaoTan · 2026-11-13