Schmidhuber 再谈残差连接发明史：LSTM 即旋转90度的 ResNet

SchmidhuberAI · x · 2026-10-15

Schmidhuber 转发一段引用 Ilya Sutskever 的视频：「LSTM 就是一个旋转 90 度的 ResNet」。他借此重申残差连接的发明时间线：1991 年 Hochreiter 通过循环残差连接（权重 1.0）解决梯度消失问题；1997 年 LSTM 使用了普通循环残差连接；1999 年进一步引入门控循环残差连接（与 Felix Gers 合作）。呼应他此前强调「21 世纪被引最多的论文是深度残差学习，而其核心思想可追溯到 90 年代的 LSTM 系列工作」的长期主张。