SSOG注意力：可分离高斯和实现亚二次复杂度，替代SDPA的新方案
4rtemi5 · reddit · 2026-08-16
作者提出SSOG（Sum Of Separable Gaussians）注意力机制，作为缩放点积注意力（SDPA）的亚二次复杂度替代方案。SDPA计算所有token对的相似度，复杂度为O(N²·d)，而SSOG通过为每个头学习少量高斯原子，并根据查询token几何引导，利用可分离高斯和分解，将复杂度降至O(N·√N·d)。实验表明，在CIFAR-100上SSOG明显优于SDPA，在ImageNet-1k上性能相当且收敛更快，同时在大规模下更高效、更省内存。博客和代码已开源。
所属事件:SSOG注意力挑战SDPA：ViT性能更优且近线性扩展(2 条相关)→
「研究」频道最新
- GPT 审查近 800 篇数学论文：6% 有重大错误，30% 有小错 — davidpattersonx · 2026-10-16
- GAE 论文提出几何原生潜空间，实现 3D 一致的世界生成 — yshan2u · 2026-10-16
- Agent 会随上下文变长而“摆烂”：编辑量从150行缩到30行 — dbreunig · 2026-10-16
- LMR-BENCH 登 EMNLP 2025:LLM Agent 能否复现真实语言建模研究 — ZhiyuChen4 · 2026-10-16
- Cammarata 称大模型绝大多数神经元已可读，学界质疑是炒作 — anshulkundaje · 2026-10-16
- 物理学者视角质疑：ML 社区不该默认模型「不可理解」 — tszzl · 2026-10-16