Deep Sets 论文回顾：让神经网络真正理解'集合'的定理

burny_tech · x · 2026-09-03

作者回顾 Zaheer 等人的经典论文《Deep Sets》：此前的神经网络只能处理有序向量，而点云、粒子系统、星系团等真实数据是无序集合。论文证明任何置换不变函数必须分解为 ρ(Σφ(x)) 的形式——φ 独立变换每个元素、求和后由 ρ 处理，整个架构直接由定理推出。对于置换等变情形，他们证明权重矩阵必须是 λI + γ11ᵀ（对角元素相等、非对角元素相等），这是唯一与置换可交换的线性操作。文中还提及在数位求和等任务上的实验结果。