注意力 1/d 缩放的新解释

rishiiyer01 · x · 2026-07-16

帖子在讨论一个可能的新解释：注意力里使用 1/d 缩放，原因可能是 mup scaling factor；作者补充说，这也许与每个 head 的 qk norm 有关。

整体是在对一种注意力缩放机制做技术层面的推断，强调这种解释“可能也很新颖”。