Schmidhuber重申线性注意力Transformer早在1991年问世

Jürgen Schmidhuber 再次转发旧推强调，Transformer 的核心思想早有先例：他 1991 年提出的未归一化线性 Transformer（ULTRA）已实现线性化注意力，计算成本随输入规模线性而非二次增长，并包含 KEY/VALUE 机制；相关成果发表于 1992 年 NECO 论文。他认为 Google 2017 年的归一化二次 Transformer 并非概念源头，重申自己在这一领域的先创地位。

2026-10-05 ~ 2026-10-05 · 3 条相关

• Schmidhuber 再提旧账：2017 Transformer 源自 1991 线性注意力 — SchmidhuberAI · 2026-10-05
• Schmidhuber 重申:1991 年 ULTRA 才是线性注意力与 Transformer 概念源头 — SchmidhuberAI · 2026-10-05
• Schmidhuber 重申:线性化自注意力的 Transformer 1992 年已问世 — SchmidhuberAI · 2026-10-05