Kimi 创始人杨植麟引用 Ilya 金句:「LSTM 就是旋转 90 度的 ResNet」

SchmidhuberAI · x · 2026-10-15

Schmidhuber 转发：月之暗面创始人杨植麟引用 Ilya Sutskever 的说法——「LSTM 是旋转 90 度的 ResNet」（见 Ilya 在 NeurIPS 2024 演讲视频）。旋转 LSTM 得到残差连接：残差可视为沿深度展开的简化 LSTM，只提供固定加法的窄信息高速路；而 attention 旋转 90 度则是残差连接的自然推广，让每层检索更宽的、依赖输入的表示。

Schmidhuber 借此重申其优先权时间线：1991 年 Hochreiter 用权重为 1.0 的循环残差连接解决梯度消失问题，1997/1999 年 LSTM 的普通与门控循环残差连接，早于 21 世纪被引最多的深度残差学习论文。