SSOG注意力：可分离高斯和实现亚二次复杂度，替代SDPA的新方案
4rtemi5 · reddit · 2026-08-16
作者提出SSOG（Sum Of Separable Gaussians）注意力机制，作为缩放点积注意力（SDPA）的亚二次复杂度替代方案。SDPA计算所有token对的相似度，复杂度为O(N²·d)，而SSOG通过为每个头学习少量高斯原子，并根据查询token几何引导，利用可分离高斯和分解，将复杂度降至O(N·√N·d)。实验表明，在CIFAR-100上SSOG明显优于SDPA，在ImageNet-1k上性能相当且收敛更快，同时在大规模下更高效、更省内存。博客和代码已开源。
所属事件:SSOG注意力挑战SDPA：ViT性能更优且近线性扩展(2 条相关)→
「研究」频道最新
- 自建「主观判断」基准：18 个模型一致性测试，GLM-5.3 登顶 — arkuto · 2026-10-16
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16