RNN 记忆长短由循环矩阵特征值决定，LRU 用环形初始化破局

RobertTLange · x · 2026-11-15

Robert TLange 用一组特征值规则讲清 RNN 记忆机制的数学本质：

LRU（Linear Recurrent Unit）的解法：把所有特征值初始化在单位圆内侧的一个细环上（如 |λ| ∈ [0.9, 0.999]），从而在保证稳定性的同时获得长记忆。配套的玩具仿真用 100 单元、随机高斯矩阵演示了不同 |λ| 下的动力学。

作者还给出两篇参考文献：Sompolinsky et al. 1988 年关于随机神经网络混沌相变的经典论文（Phys. Rev. Lett.），以及 Antonio Orvieto 等 2023 年的 LRU 原始工作。

所属事件:研究者阐释 RNN 记忆机制：循环矩阵特征值与 LRU 初始化(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →