权重归一化成新趋势：nGPT 等方法中各神经元范数几乎恰好为 1
SonglinYang4 · x · 2026-11-13
Ying 指出在 nGPT、hyper ball 等权重归一化方法中，各神经元对应的范数几乎精确等于 1，认为 weight normalization 正在成为新的标准做法。Songlin Yang 亦感叹 weight normalization（nGPT、hyper ball 等）已成为新的标配。
「研究」频道最新
- Inkling 2 Small 登上 Eval³ 榜：专测「审计 eval 抓 reward hack」新维度 — simonguozirui · 2026-11-13
- Google 公布 2026 届 148 名 PhD Fellows,38 国获 1300 万美元资助 — sivareddyg · 2026-11-13
- AI 研究者激辩：做增量研究比押注大问题风险更高 — fkasummer · 2026-11-13
- MIT×Meta 论文 ReHarness:让 Agent 用后续结果回头修订旧记忆 — rohanpaul_ai · 2026-11-13
- EMNLP 论文 MASCOT 训练多角色 AI 对话：persona 一致性达 80 分 — jiqizhixin · 2026-11-13
- 斯坦福 CS312「深度学习炼金术」开放:预测实验结果的另类课程 — stanfordnlp · 2026-11-13