从 Bahdanau 到 FlashAttention:一图看懂注意力机制八年演进史
cneuralnetwork · x · 2026-11-11
一条推文配图梳理了深度学习中「注意力」这一核心思想的演进脉络：
- 2014 Bahdanau Attention:软对齐让 seq2seq 模型能聚焦相关源词，首次引入 soft attention
- 2015 Luong Attention:全局与局部变体让注意力更简单实用
- 2017 Transformer:自注意力取代循环结构，成为新范式的基础
- 2020 Linear Attention:重 formulate 注意力，将二次复杂度降到约 O(n) 以处理长序列
- 2022 FlashAttention:IO 感知的精确注意力，更快且更省显存
作者同时发起讨论：哪个突破影响最大？
「研究」频道最新
- EM 算法提速组合拳:EMA、余弦调度、自定义死簇复活全用上 — chrisemoody · 2026-11-11
- 可训练望远镜模型助力 Nature 论文：灵敏度提升 2–15 倍发现系外行星 — bravo_abad · 2026-11-11
- Ben Todd 发图:任务时长外推曲线或于 12 个月内抵达奇点 — ben_j_todd · 2026-11-11
- Eva Jablonka 提出心像缺失与语言演化关系的新概念框架 — AnnaCiaunica · 2026-11-11
- BioAgent-DF 论文：硬件静默数值故障可悄悄改变科研 Agent 决策 — INTOSYN-AI-Labs · 2026-11-11
- Mobile AI Factory：智能体流水线为手机自动造专用小模型，胜过五次提示前沿模型 — kalyan_kpl · 2026-11-11