新论文提出 Topological Attention,突破图注意力对角限制
rishabh16_ · x · 2026-10-10
arXiv 预印本《Let the Heads Talk: Beyond Diagonal Graph Attention》从 sheaf 神经网络的视角重新审视多头注意力:作者证明标准多头注意力在每个有向边上只实现「对角」传输映射,即源端某个 head 只能作用于接收端对应的 head。
- 通过 quiver 表示将传输原语与多注意力头直接关联,提出允许非对角项的 Topological Attention(Top-A),让信息在邻域聚合前跨 head、依边条件通信
- 证明该操作无法被聚合后的单个共享线性映射吸收,且关闭额外路由时可精确还原普通注意力
- 在关系推理、异质图学习、算法推理(含分布外泛化)上评估,显示跨头传输在交互性强的任务上最有用
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23