结构研究者讨论新架构亮点：value norm 且无 RMS gamma
SonglinYang4 · x · 2026-11-13
ML 架构研究者 Songlin Yang 与他人讨论某个新模型的架构设计，指出其 value norm 设计有趣，并且重要的一点是没有 RMS gamma。属于对模型内部实现的技术观察，细节有限。
所属事件:新模型架构引热议：QK-Norm 带 gamma 而 V-Norm 无 gamma 的不对称设计(3 条相关)→
「模型」频道最新
- 6 个 LLM 记忆画旧金山:最好的街道得分仅 0.32,接近随机 — Evening_Hawk_7470 · 2026-11-13
- AI 路由器价值被低估:数据留存与安全测试成选型关键维度 — typewriters · 2026-11-13
- 「去蔽版模型」老式 warez 目录梗,意外泄露 GLM 5.3 等未发布型号名 — HankYeomans · 2026-11-13
- Perplexity 决策模型 Decider V1.3 上线 OpenRouter,免费可用 — AravSrinivas · 2026-11-13
- Inkling 2 Small 的 Attention Residual 结构被赞"优雅" — simonguozirui · 2026-11-13
- Gemini 4 Hydrogen 将于 45 天后下线 — ThePrimeNumbers · 2026-11-13