手把手推导 LSTM:15 步算清门控与记忆单元

ProfTomYeh · x · 2026-08-26

Tom Yeh 通过图文并茂的形式，手算演示了 LSTM 单元处理三个输入序列的完整过程。教程详细展示了从初始化、线性变换、门控机制（遗忘门、输入门、输出门）到记忆单元更新和隐藏状态输出的每一步计算。作者指出 LSTM 曾是处理长序列的最有效方法，直到 Transformer 出现，而如今循环机制（如 Mamba）因 Attention 在长 Token 下的扩展性问题而回归时尚。