注意力机制新解读:本质是单位球面上的球面插值
mgostIH · x · 2026-11-06
mgostIH 提出一个对注意力操作的几何直觉:attention 是对 value 向量的凸组合,而单位球面上向量的凸组合几乎总落在球内;Layer/RMSnorm 是到球面上的投影,因此 attention+norm 可视为球面插值。考虑到高维高斯分布的质量几乎集中在球面附近,这一视角为理解 Transformer 内部几何提供了简洁框架。配图示意了单位圆内凸组合向量与球面投影的关系。
「研究」频道最新
- 研究：90% 编码 Agent 盲从过时 CLAUDE.md，一句话让遵守代码率升至 91% — petrusenko_max · 2026-11-06
- 作者开源 140 万张像素风合成数据集，含 16×16 游戏素材 — Angaisb_ · 2026-11-06
- Hugging Face 连发三篇长文讲透 MoE 混合专家架构 — ariG23498 · 2026-11-06
- ETH Zurich 研发 ECHO 植入物：将血糖转化为可随尿排出的葡萄糖酸盐 — CurieuxExplorer · 2026-11-06
- Science 报道：Lean 证明证书并非万无一失，自动形式化现裂缝 — neurovium · 2026-11-06
- 扩散 Transformer 生成 fMRI 神经时间序列,论文入选 NeurIPS 2026 — LucaAmb · 2026-11-06