《降临》启发自注意力:Transformer 架构的灵感溯源故事

dosco · x · 2026-10-13

一段 AI 史轶事:2016 年仍在 Google 的 Illia Polosukhin 困惑于机器该如何处理语言，直到看了电影《降临》——七肢桶外星人不用序列方式交流，而是以一圈墨迹同时呈现完整含义。这启发他反向思考：与其让计算机逐词阅读，不如让它同时看到整句甚至整段，再判断哪些词彼此相关，哪怕早几段前的词也能提供线索。这一「整段文本同时把握」的思路催生了 self-attention 机制，配图为书页「FIFTEEN: The Transformer」。