Yang Songlin 曝新模型各层权重行范数均≈1，疑与 nGPT 超球面假设一致

ChengleiSi · x · 2026-11-13

Ilya Loshchilov 向 Yang Songlin 提问：采样数据显示所有权重向量的行范数都约为 1，这是否与 nGPT 将所有向量置于超球面上的做法一致？

配图表格展示了实测统计：Attention Q/K/V 与相对特征投影、输出投影、gate/sink 投影、MoE router、unembedding 行的平均行范数均≈1，相对离散度约 0.004–0.008%；而 NVFP4 量化的 expert gate/up 与 down 投影离散度明显更高，约 0.20%–0.28%。这提示该模型可能采用了类似 nGPT 的归一化架构，且 FP4 量化专家层是范数方差的主要来源。