SSOG注意力：可分离高斯和实现亚二次复杂度，替代SDPA的新方案

4rtemi5 · reddit · 2026-08-16

作者提出SSOG（Sum Of Separable Gaussians）注意力机制，作为缩放点积注意力（SDPA）的亚二次复杂度替代方案。SDPA计算所有token对的相似度，复杂度为O(N²·d)，而SSOG通过为每个头学习少量高斯原子，并根据查询token几何引导，利用可分离高斯和分解，将复杂度降至O(N·√N·d)。实验表明，在CIFAR-100上SSOG明显优于SDPA，在ImageNet-1k上性能相当且收敛更快，同时在大规模下更高效、更省内存。博客和代码已开源。