新架构 SSOG 挑战 SDPA，ViT 性能更优且近线性扩展
serrjoa · x · 2026-08-17
有观点认为 Scaled Dot-Product Attention (SDPA) 在 Vision Transformers (ViTs) 中并不合理。通过引入 SSOG (Separable Sum Of Gaussians)，可以实现更快的收敛速度、更好的性能表现以及近线性的扩展能力。
所属事件:SSOG注意力挑战SDPA：ViT性能更优且近线性扩展(2 条相关)→
「研究」频道最新
- EMNLP 2026 收录：CWoMP 濒危语言形态标注方法 — fredahshi · 2026-08-24
- SemiAnalysis 开源 300 万美元 AgentX 基准，百万上下文测 AI 编程 — AccBalanced · 2026-08-24
- Vinci2 助手在 EgoServe 基准超 GPT-5-mini，实现主动干预 — jiqizhixin · 2026-08-24
- OpenAI 招聘变革性 AI 经济学主管，MATS 奖学金开放申请 — Astral Codex Ten · 2026-08-24
- AI 科学家有了新标尺：从“考试”转向真实发现闭环 — 量子位 · 2026-08-24
- AI 协助证明埃尔德什猜想超越性 — inductionheads · 2026-08-24