三元线性注意力用三维张量状态扩展线性 RNN

MIT 等机构的研究者（osieberling）提出 Triadic Linear Attention（三元线性注意力）。出发点是线性注意力本质上是最朴素的 RNN，却因维持矩阵状态而大幅超越传统 RNN；该方法用三个向量的外积维持一个三维张量状态，进一步扩展线性注意力的状态写入方式，以扩容长上下文记忆、突破线性注意力的容量限制。

2026-10-05 ~ 2026-10-05 · 3 条相关

• 研究者提出三元线性注意力：用三维状态扩展线性 RNN — ChengleiSi · 2026-10-05
• 新方法 Triadic Linear Attention：用三维状态矩阵突破线性注意力容量 — HanGuo97 · 2026-10-05
• MIT 提出三元线性注意力:3D 张量状态扩容长上下文记忆 — Massachusetts-Institute-of-Technology · 2026-10-05