研究：token嵌入对值向量贡献远超表象，揭示Transformer设计根本约束

teortaxesTex · x · 2026-10-28

研究者 Muyu He 发布博客，用奇异值分解拆解 780M 参数 Transformer 中每层每个注意力头的 Wv/Wq/Wk 矩阵的输入方向，再测量各层输出（含 token 嵌入）对这些方向的投影，得出一个反直觉结论：

虽然 token 嵌入的 L2 范数在各层输出中并不突出，但它对几乎所有层的 Wv 矩阵顶部输入方向有异常大的投影，即 token 嵌入对值向量（V）的贡献显著，而 Q、K 则没有类似的特殊层依赖。
这与其此前 EMNLP 论文（arxiv 2606.02780）用消融和验证损失得到的结论互相印证。
在 AttnRes 风格模型中，即便 value 矩阵学到很大的逐层权重（softmax 意义上接近 1），对 token 嵌入的放大依然微乎其微——因为嵌入在第一层前被归一化，范数恒定。这揭示了 Transformer 设计的一个根本约束：token 嵌入被迫保持很小的范数，value 矩阵「想要」token 嵌入却拿不到。

「研究」频道最新