手推 LSTM 全过程：15 步算清遗忘门与记忆单元
ProfTomYeh · x · 2026-09-17
Tom Yeh 教授发布「手写手算 AI」系列最新一篇:用纸笔完整推演一个 LSTM 单元在三个输入序列上的全部计算,共约 15 步。
- 背景：LSTM 由 Hochreiter 与 Schmidhuber 于 1997 年提出,曾长期是最有效的长序列建模方法,直到 Transformer 兴起；如今因注意力机制难以扩展到几十万 token,循环结构(如 Mamba)又重新受到关注。
- 推演流程:给定三个输入 X1–X3 与遗忘、输入、候选、输出四个权重矩阵；初始化 h0、C0 → 用四个权重矩阵对「当前输入+前一隐藏状态+1」做线性变换 → 用 sigmoid 压缩得到三个门 → 更新记忆单元(旧记忆×遗忘门 + 候选×输入门)→ tanh 后乘输出门得到新隐藏状态 → 对 X2、X3 重复以上步骤。
跟着走完一遍,就能真正理解 LSTM 每个门和记忆单元的作用机制。
「研究」频道最新
- 论文同时身兼四职,学者痛陈科研激励系统全面失灵 — tak3sh8 · 2026-09-17
- Keller Jordan:说 AI 会毁掉数学,等于承认数学家无法自治 — kellerjordan0 · 2026-09-17
- 开发者称 Jev 新架构与己一年前开源工作高度雷同 — Nandakishor_ml · 2026-09-17
- Nvidia 开源 Agora:用 Git 做共享记忆,13 个 AI Agent 无监督连跑 12 天 — nvidia · 2026-09-17
- HypoEvolve:遗传算法编排多 Agent LLM,在 34 种癌症药物重定位上击败六个基线 — Jieyuan Liu · 2026-09-17
- OpenAI 基金会持股 26% 启动健康数据资助，付费生产生物医学数据集 — DrMorganLevine · 2026-09-17