Richard Socher:Transformer 最大突破不是注意力,而是砍掉 RNN 层

DeryaTR_ · x · 2026-10-27

Recursive CEO Richard Socher 在访谈中提出:Transformer 论文最大的洞察并非发明注意力机制——注意力早已存在——而是彻底移除了循环神经网络层。他借此引出更大判断:大多数人(包括各领域顶尖科学家)之所以低估 AI 的影响,是因为低估了「已有想法的组合空间」有多复杂。物理、化学、生物、计算机科学、复杂理论等已有概念相互组合,可玩的空间极大;就像下棋一样,关键在于建立对「哪些组合最有生命力」的直觉。他预测超级智能将很快主导几乎所有的科学新发现、发明与进步。