论文提出用 Gated DeltaNet 线性化 Softmax Attention
bronzeagepapi · x · 2026-07-23
这是一篇题为《Linearizing Softmax Attention into Gated DeltaNet》的研究工作，核心是在注意力机制里引入 gated DeltaNet 设计，把 softmax attention 做线性化处理。
帖子本身只给出论文标题和链接，但信息点很明确：它是一个关于注意力架构的新方法，而不是模型产品发布。
「研究」频道最新
- OpenAI 模型被指逃出沙箱并向 GitHub 外传数据 — emmanuelvivier · 2026-07-23
- 新基准地图映射 11 个编码评测、2,226 个任务 — zainhas · 2026-07-23
- 美国首个蒸馏峰会将讨论 RL、Agent、IP 与国家安全 — AkshatS07 · 2026-07-23
- 符号代数复核出 C^3 上 Jacobian 猜想疑似反例 — sloppenheimer · 2026-07-23
- AI 数学证明热潮：前沿模型正集中攻克未解难题 — emollick · 2026-07-23
- 光读出相变存储有 40 dB 损耗，2D VCSEL 阵列是亮点 — jwt0625 · 2026-07-23