手推计算LSTM全过程
ProfTomYeh · x · 2026-07-18
教授 Tom Yeh 分享了一份「手推 LSTM」的详细教程。随着 Mamba 等基于循环机制的网络重新获得关注，作者通过 15 个步骤，指导读者如何纯手工计算一个 LSTM 单元。 **核心步骤包括：** 1. **初始化**：设定初始隐藏状态和记忆单元。 2. **线性变换**：将当前输入与前一隐藏状态堆叠，乘以四个权重矩阵（遗忘门、输入门、候选状态、输出门）。 3. **门控与记忆更新**：使用 sigmoid 压缩前三个矩阵得到门控值，结合 tanh 处理后的候选状态，遗忘部分旧记忆并写入新记忆。 4. **状态输出**：将更新后的记忆通过 tanh 和输出门相乘，得到当前隐藏状态。 5. **序列推进**：将得到的隐藏状态和记忆单元向前复制，重复上述步骤处理后续输入。