Schmidhuber 重申 1991 年快权重程序员才是最早的 Transformer
11 月 3 日，Jürgen Schmidhuber 通过其官方 X 账号连续转发多篇内容，重申其对深度学习历史归属的长期主张：深度学习革命的许多基本思想都诞生于 1990-91 年慕尼黑工大实验室的 12 个月内。
已确认
- Schmidhuber 转发了其经典长文《Deep Learning: Our Miraculous Year 1990-1991》，称该时期已埋下 GAN、Transformer 预训练等 7 大基石。
- 他重申 1991 年发表的 Fast Weight Programmers（快权重程序员）研究中包含非归一化线性 Transformer，即最早的 Transformer 雏形。
- 在回应社区讨论时，他称当前线性注意力相关工作「早就是旧帽子」，认为这些所谓新东西正是 1990 年代 neural fast weight programmers 所做的工作。
- 用户 @arthurcolle 注意到 SchmidhuberAI（官方 AI 账号）对某新工作冷评「这是老把戏」，并借此调侃 AI 圈经典梗「你以为发明了新东西？Schmidhuber 1991 年就做过了」。
为什么重要
这是 Schmidhuber 多年来一贯立场的再次公开表达：他持续主张现代深度学习的核心技术（尤其是 Transformer 与线性注意力）源自其 1991 年前后工作。此类发声虽常被社区调侃为固定节目，但也持续引发对 AI 史与学术贡献归属的讨论。
2026-11-03 ~ 2026-11-03 · 5 条相关
一手来源
- Schmidhuber 重申:1991 年快权重网络才是最早的 Transformer — SchmidhuberAI ·
- Schmidhuber 重发「奇迹年」长文：1990-91 已埋下 GAN、Transformer 预训练等 7 大基石 — SchmidhuberAI · 2026-11-03
- Schmidhuber 再谈 1991 年快权重程序员:首个线性 Transformer 雏形 — SchmidhuberAI · 2026-11-03
- 「Schmidhuber 1991 年就做过了」：AI 圈最经典梗再度上演 — arthurcolle · 2026-11-03
另有 2 条近重复转述:SchmidhuberAI · zainhas