Pre-Norm 并不保证尺度不变性，现代 Transformer 架构假设遭质疑
aaron_defazio · x · 2026-11-10
- @miyashita03 指出：许多深度学习理论论文假设尺度不变性 f(cw)=f(w) 由归一化层带来，但现代 Transformer 可能并非如此。
- 如今 LLM 普遍用 pre-norm，连简单线性层都不满足尺度不变；sandwich-norm 看似可行，但 SwiGLU、attention 等其他组件也会破坏该性质；QK-norm 只让 Q/K 投影权重尺度不变。
- 尽管如此，尺度不变性假设在 AdamC、AdamMD、AdamH 等优化器中实践上似乎有效，作者追问它究竟来自哪里，并准备研读 Jianlin Su（苏剑林）的相关文章。
- 配图直观对比 pre-norm、post-norm、sandwich-norm 三种结构在权重缩放 c 后的输出：前两者 y(cW)≠y(W)，只有 sandwich-norm 满足不变性。
「研究」频道最新
- 斯坦福 AI100 第三份报告《AI Goes Mainstream》发布 — StanfordHAI · 2026-11-11
- 果蝇全脑连接组被塞进计算器：16.67 万神经元驱动屏幕上的苍蝇 — EricBuess · 2026-11-11
- 26040 次 agent 运行、耗百亿 token:换模型是否也该换 harness? — stuffyokodraws · 2026-11-11
- Perceptron 开源 EgoHome：亚秒级第一视角家务视频基准 — lukas_m_ziegler · 2026-11-11
- Epoch AI 图表：AI 推理成本年均降 13 倍，快过史上任何技术 — sebkrier · 2026-11-11
- 93 项随机试验系统综述上线：AI 对心理健康与信念准确性的真实影响 — DG_Rand · 2026-11-11