Google 研究员:注意力本质是每 token 一次 map 插入加查询
moultano · x · 2026-10-09
Google 研究员 moultano 提出一个理解注意力的直觉框架：把数学抽象掉，把每个组件视为任意函数，那么每个 token 做一次 map 插入、再做一次 map 查询，剩下的只是把这些函数换成可并行、梯度友好的操作。
由此可以解释一些反直觉现象：模型为什么会关注字符串结束符这类『无用』的东西，以及为什么往上下文里塞与 token 无关联的任意键值对也有帮助——它们只是给模型提供了新的地方藏数据、之后再查。
所属事件:谷歌研究员：注意力即每token一次哈希插入加查找(2 条相关)→
「研究」频道最新
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- Arc Institute 发布 COMPASS:用基因组语言模型绘制非编码 DNA 功能图谱 — anshulkundaje · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23
- 新论文用二次模型复现 Transformer 训练 loss 尖峰，直指成因本质 — CSProfKGD · 2026-10-23
- 扩散模型教科书团队将把教程升级为 NeurIPS 2026 扩散 LLM 专场 — mittu1204 · 2026-10-23