研究者热议 row norm：控制 pre-activation ∞ 范数才是正解
CatAstro_Piyush · x · 2026-11-13
YouJiacheng 在讨论 LLM 训练中的归一化方案时指出：row norm（权重归一化）才是正确路线——因为 SwiGLU 含逐元素相乘，需要控制 pre-activation hidden 的 ∞ 范数，才能控制 post-activation hidden 的 RMS。引用的实验观察显示，每个神经元对应的范数几乎恰好为 1，支持 weight normalization 的效果。这是关于大模型训练稳定性技术细节的圈内讨论。
「模型」频道最新
- HF 研究员开源 Ettin 系列重排器：6 档尺寸、各规模 SOTA、附完整训练配方 — antoine_chaffin · 2026-11-13
- LightOn 开源 DenseOn 系列：单向量与多向量检索模型双双达 SOTA — antoine_chaffin · 2026-11-13
- 语音转写榜更新8款新模型,ElevenLabs Scribe V3登顶居霸主地位 — lukeharries · 2026-11-13
- Claude 全面故障：claude.ai、Claude Code 与平台认证异常 — ClaudeAI-mod-bot · 2026-11-13
- Claude 再度宕机，用户让 Astra、Sol 接手续读线程 — paul_cal · 2026-11-13
- Claude Code 疑似集体掉登录，被疑触发蒸馏风控 — teortaxesTex · 2026-11-13