研究者提出三元线性注意力：用三维状态扩展线性 RNN
ChengleiSi · x · 2026-10-05
作者从「线性注意力本质上是最朴素的 RNN，却因维持一个矩阵状态而大幅超越传统 RNN」这一观察出发，提出进一步推广：用三个向量的（三元）外积维持一个三维张量状态，称为 Triadic Linear Attention（三元线性注意力），并以长推文形式展开技术细节。这是对线性注意力状态空间设计方向的新探索，讨论其能否带来进一步的容量或表达能力提升。
「研究」频道最新
- 大模型 RL 蒸馏小模型的隐忧:能力校准缺失致过度自信 — willcb · 2026-10-05
- DeepMind 论文证明单一模型可无索引排序,搜索结果页或将消失 — dejanseo · 2026-10-05
- 新论文 IGP-Bench：让 AI 智能体学会「何时该停手」 — _sathvikr · 2026-10-05
- 21 维 kissing number 下界推至 30779,作者称由 AI agent 计算完成 — felpix_ · 2026-10-05
- 数学形式化变简单:长论文 24-48 小时可转 Lean,作者开源 skills — kfountou · 2026-10-05
- ASRN 提出学习式哈希复制层：线性内存找上下文早前出现并复制后续 — Mean-Disaster8380 · 2026-10-05