多头注意力里的按头缩放讨论
stochasticchasm · x · 2026-07-16
这条回复在讨论多头注意力里的一个参数化细节：
- 对方提到许多 LLM 里只是对 qproj(x) 做 qnorm，每个 head 的 q/k 向量并不会按 \sqrt(dhead) 去缩放。
- 这里追问的是为什么不使用“按 head 独立的 gain”（例如 nn.RMSNorm((nhead, dhead), ...)）来做 per head gain。
- 回答给出的判断是：这属于 muP 相关思路。
- 另一条回复补充说，这种基于每个 head 的 qk 归一化来解释 attention 做 1/d 缩放的说法，本身也可能是个新点子。
所属事件:研究者讨论现代 LLM 的 1/d 注意力缩放(6 条相关)→
「研究」频道最新
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
- Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
- Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27