研究发现 token embedding 对 value 向量贡献远超表象
RichmanRonald · x · 2026-10-26
Muyu He 在博客中提出标准 Transformer 存在一个根本性矛盾：value 矩阵在输入方向上「寻找」token embedding，但 token embedding 对 value 向量的实际贡献却很小。
- 方法：在 780M 模型上，把每个头的 Wv/Wq/Wk 按奇异值分解出特权输入方向，再衡量各层输出（含 token embedding）相对自身范数在这些方向上的投影
- 发现：Q、K 无明显偏好层，但 token embedding 在所有层的 Wv 上都有异常大的投影——尽管其范数并不突出；实际贡献（投影后的平方范数）却很小
- 结论与其 EMNLP 论文（arXiv:2606.02780）基于消融和验证损失的结论互相印证
「研究」频道最新
- HuggingFace 碳基因模型 Carbon-X 判对致病变异,Gemini 认错基因判成良性 — LoubnaBenAllal1 · 2026-10-26
- ETH 论文:动态分配评测预算,小预算也能排出与 10 倍预算一致的模型榜单 — zouharvi · 2026-10-26
- DuoLM：紧凑编码器+排序器让 LLM 推荐实现高吞吐在线服务 — GoogleDeepMind · 2026-10-26
- DISC：可学习框架为时序数据集迁移预测校准相似度指标 — Yen-Ku Liu · 2026-10-26
- Adobe 提出 SliderEdit++：滑杆式图像编辑顺畅度提升 18.5% — Arman Zarei · 2026-10-26
- DeepMind 用稀疏自编码器打造可解释的 AI 文本检测器 — GoogleDeepMind · 2026-10-26