xLSTM 团队提出 KronLSTM:标量级记忆修正挑战 Transformer
gklambauer · x · 2026-10-20
Sepp Hochreiter(LSTM 作者)团队发布 KronLSTM 论文(arXiv:2610.26834),提出基于 Kronecker Delta Rule 的线性注意力架构,目标是替代 Transformer 用于长上下文 LLM。核心要点:
- 新更新规则:不同于 Delta Rule 修正 key 处存储的整个向量,Kronecker Delta Rule 只修正单个标量——即 key 与 value 的绑定强度,沿矩阵空间单一方向做「微创式」记忆修订,减少对已存信息的干扰。
- 理论保证:记忆动力学可描述为收敛到稳态分布的马尔可夫链,记忆矩阵期望范数在整个序列上有均匀界,无需额外归一化/稳定化机制。
- 实验结果:与 (Gated) DeltaNet 等现有线性注意力架构相当或更优,长上下文基准上表现尤其突出。
- 代码与模型开源,扩展了 xLSTM 家族。
所属事件:NX-AI 发布 KronLSTM：Kronecker Delta Rule 增强线性注意力(2 条相关)→
「研究」频道最新
- 可解释性学者讨论:早期单语义特征能否在 RLHF 后留存 — davidmanheim · 2026-10-20
- MemTensor 发布 MemT-1.0:把记忆内化进模型计算的记忆原生架构 — MemTensor · 2026-10-20
- 清华等发布 RoboValue:仿真与真实环境统一的机器人价值模型评测基准 — Shengbang Liu · 2026-10-20
- 论文证明 Transformer 会按幂律遗忘 prompt:训练后模型忘得更快 — Shuyang Xiang · 2026-10-20
- MARS:仅用文本拒绝方向实现多模态安全转向,免采多模态安全数据 — MHUGLab · 2026-10-20
- 联想论文揭示:安全护栏基准测的是标注政策,不是检测能力 — Vahid Jebraeeli · 2026-10-20