研究者提出 Relation 架构替代 Attention：显式拆分 Self 与 Exchange 关系
青稞AI · wechat · 2026-09-04
作者记录了两篇论文的思路演化。第一篇 MemGLU 用闭尾门控函数检验 SwiGLU 开放正尾是否必要，发上 arXiv 次日就引来 SELU 原作者 Günter Klambauer 索要代码；第二篇《Ask Self, Ask Others: Relation Is All You Need》是重点。
核心想法是把 Attention 中「关系形成」与「信息流分配」两步拆开：将 token 关系二分为对角线的 Self（自问）与非对角线的 Exchange（互问），用一对非线性函数（经 23 组消融确定）从证据投影出关系，并引入带 log 修正项解决 Exchange 随序列长度自然增大的问题；多头版本用 Givens 正交旋转交替配对，解除关系与信息在不同 head 间的固定绑定。由于关系矩阵显式存在，作者还推导出 FlashRelation 的分块计算路径——逐块只需维护对数归一化常数等少量统计量，无需在线维护完整关系矩阵，为 Linear 化落地打开新路径。
「研究」频道最新
- TLAPS-Bench 开放 alpha 版:测 AI 能否形式化证明系统正确性 — tianyin_xu · 2026-09-23
- ImIR 用图像自身作指令单适配器搞定六种图像修复 — Süleyman Aslan · 2026-09-23
- Quanta 解读：定价算法无需合谋也能推高物价 — burny_tech · 2026-09-23
- CodeMidas：从源码自动生成可执行的编码 RL 训练环境 — burny_tech · 2026-09-23
- 学者怀念 20 年前的方法论论文:没有防御性废话直击要点 — PMinervini · 2026-09-23
- 新论文：块三角联合漂移实现单步生成式代理模型 — chaumian · 2026-09-23