NUS Xavier Bresson 图机器学习课件第9讲:Graph Transformer 全解
xbresson · x · 2026-10-19
新加坡国立大学 Xavier Bresson 发布《Graph Machine Learning》课程第 9 讲,主题为 Graph Transformer。课件要点:
- 图位置编码:Graph Laplacian 与 random walk 编码,并区分几何位置编码(如 3D 坐标)与结构编码(节点度、motif/graphlet 计数)
- 消息传递与 over-squashing 问题:CNN/RNN/Transformer/GNN 可统一视为不同域结构上的消息传递架构
- 稀疏 vs 稠密图自注意力的取舍:稠密 GT 在大图上 O(n²) 代价高,稀疏 GT 长程通信需堆叠多层加剧 over-squashing
- 三线性边特征、层级化 Graph Transformer 与 heavy-edge matching,以及 O(n) 复杂度的层级注意力
课件 PDF 公开下载,是系统性学习图 Transformer 的完整材料。
「研究」频道最新
- ARC-SORT 零训练实时追踪体育转播，大幅减少身份切换 — Girish Kumar Adari · 2026-10-19
- AI 数学家质疑引火：批评者称 AI 全靠 Lean，答不了「为什么成立」 — gerardsans · 2026-10-19
- AI 能否创造新数学?研究者激辩:离开 Lean 就接不上点 — gerardsans · 2026-10-19
- 博客主猜想：能否用 git 历史追踪 Claude/Codex 的量化「水印」 — StewartalsopIII · 2026-10-19
- ICLR 放榜前豪赌:AI 圈预测研究奖学金论文九成被拒 — anpaure · 2026-10-19
- LLM 评委错误相关，传统多数投票让评测过度自信 — burkov · 2026-10-19