研究者阐释 RNN 记忆机制：循环矩阵特征值与 LRU 初始化

Robert T. Lange 发文从数学本质阐释 RNN 的记忆机制：循环矩阵特征值 |λ| 接近 0 时网络几步内即遗忘，接近 1 时才能保持长期记忆，LRU（Linear Recurrent Unit）据此采用环形初始化破解这一难题。后续补充帖还提供了深入阅读材料，将讨论追溯到 Sompolinsky 等人 1988 年关于混沌动力学的经典论文，并与 2023 年的 LRU 工作相衔接，串起从理论到现代方法的脉络。

2026-11-15 ~ 2026-11-15 · 2 条相关

• RNN 记忆长短由循环矩阵特征值决定，LRU 用环形初始化破局 — RobertTLange · 2026-11-15
• RNN 混沌动力学溯源：1988 年论文与 2023 年 LRU 工作 — RobertTLange · 2026-11-15