SSOG注意力挑战SDPA：ViT性能更优且近线性扩展

研究者提出SSOG（可分离高斯之和）注意力机制，作为缩放点积注意力SDPA的亚二次复杂度替代方案。SDPA需计算所有token对的相似度，复杂度较高；SSOG则将其降至近线性水平，实验显示其在Vision Transformers中性能优于SDPA，随序列规模增长展现出近线性扩展特性。

2026-08-16 ~ 2026-08-17 · 2 条相关

• SSOG注意力：可分离高斯和实现亚二次复杂度，替代SDPA的新方案 — 4rtemi5 · 2026-08-16
• 新架构 SSOG 挑战 SDPA，ViT 性能更优且近线性扩展 — serrjoa · 2026-08-17