新方法 Triadic Linear Attention：用三维状态矩阵突破线性注意力容量

HanGuo97 · x · 2026-10-05

研究者 osieberling 提出 Triadic Linear Attention（三向线性注意力）：线性注意力本质上是最朴素的 RNN，靠维护一个矩阵状态大幅超越传统 RNN。那么更进一步——能否用三个向量的（三向）外积，直接维护一个三维状态？

作者认为更大的循环状态能带来更高容量，团队成员（DaviJin 等）分享了系统层面的工程工作，重点是让这个大得多的 recurrent state 在实践中保持高效，并观察到额外的容量在长上下文场景下确实带来了回报。作者附了详细推文线程介绍方法细节。该方法尚处早期探索阶段，实际效果有待社区复现与验证。