Schmidhuber 重发「奇迹年」长文：1990-91 已埋下 GAN、Transformer 预训练等 7 大基石
SchmidhuberAI · x · 2026-11-03
Jürgen Schmidhuber 再次转发其经典长文《Deep Learning: Our Miraculous Year 1990-1991》，称深度学习革命的许多基本思想都诞生于 1990-91 年在慕尼黑工大实验室的 12 个月内。文中列出七大奠基性成果：
- GAN 原理：为人工好奇心与创造力而生（如今被用于 deepfake）
- Transformer 的雏形：1991 年的 Unnormalized Linear Transformer（ChatGPT 里的那个 T）
- 深度网络预训练（ChatGPT 里的那个 P）
- 神经网络蒸馏：他称这是 DeepSeek 的关键
- 循环世界模型：用于部分可观测环境下的强化学习与规划
- LSTM：20 世纪被引最多的 AI 论文，基于残差连接与恒定误差流
- Highway Net：比此前前馈网络深 10 倍，衍生出 21 世纪被引最多的论文
他还声称截至 2025 年，Google Scholar 三年内引用最高的两篇论文都直接源自其 1991 年工作；基于「奇迹年」思想的网络已部署在超 30 亿台设备上，每天被调用数十亿次，消耗全球相当大比例的算力。
「漫话AGI」频道最新
- Ramez Naam 谈多 AI 世界安全:竞争加开源是防垄断与增强防御的关键 — sebkrier · 2026-11-03
- AI 没有拉低创造力标准,只是暴露了它们本来就低 — TinfoilTricorn · 2026-11-03
- repligate:驾驭前沿并在任意渠道获得影响力才是 AI 圈真正的筛选器 — repligate · 2026-11-03
- Dan Faggella 预言:18 个月内实验室员工将公开承认「对齐不可能」 — repligate · 2026-11-03
- AI 经济格局变化太快,趋势判断需要每周重新校准 — perilli · 2026-11-03
- Mark Seemann 撰文反驳「AI 是编程的下一层抽象」论调 — blaizedsouza · 2026-11-03