Schmidhuber 重申 1990-91「奇迹年」奠定 GAN、Transformer 前身等七项基石
SchmidhuberAI · x · 2026-10-30
Jürgen Schmidhuber 转发并重申其著名长文《Deep Learning: Our Miraculous Year 1990-1991》，主张深度学习革命的许多基础思想都出自他团队 1990-1991 年在慕尼黑工业大学发表的 12 个月内的论文：
- 生成式对抗与好奇心：1990 年提出的人工好奇心/创造力原理，被视为 GAN 思想源头（如今用于 deepfake）
- Transformer 雏形：1991 年的 Unnormalized Linear Transformer，他称其为 ChatGPT 中 "T" 的先声
- 预训练：深度神经网络的 pre-training 原理（ChatGPT 中的 "P"）
- 网络蒸馏：知识蒸馏思想，他称对 DeepSeek 等很关键
- 循环世界模型：用于部分可观测环境下的 RL 与规划
- LSTM：1991 年萌生其定义性特征，成为 20 世纪被引最多的 AI 论文
- Highway Net：比此前前馈网络深 10 倍，启发 21 世纪被引最多的论文（ResNet）
他称截至 2025 年，史上被引最高的两篇科学论文都直接基于其 1991 年工作，相关网络已部署在超 30 亿台设备上。
「漫话AGI」频道最新
- Gary Marcus 等发论文：模仿人类是 AI 发展的错位目标 — ValerioCapraro · 2026-10-30
- 写了十年基因组学软件的工程师：经历身份危机后拥抱 Agent 编程 — jmschreiber91 · 2026-10-30
- ML 老兵叹经典教材困于版权:作者离世,好书无法更新再版 — burkov · 2026-10-30
- Toby Walsh 与议员 Allegra Spender 对谈「理解 AI」 — TobyWalsh · 2026-10-30
- 创始人父亲谈AI时代育儿：盼AI更快取代工作 — alfred_lua · 2026-10-30
- 「数学进步的新黎明」:一篇畅想 AI 与数学界深度协作的长文 — LiminalEntityX · 2026-10-30