Gated Delta Networks 论文把 Mamba 思路推进到新架构
vista8 · x · 2026-07-21
这篇论文在讲什么
它提出了 Gated Delta Networks，是在 Mamba 风格的选择性记忆更新之上继续改造的一种序列模型思路。
为什么值得看
原帖判断，近来大模型能把参数规模推到 T 级、同时质量还不错，可能和这类新型混合架构有关。
配图里能看到的论文要点
- 论文标题是 《Gated Delta Networks: Improving Mamba2 with Delta Rule》。
- 核心是提出 gated delta rule，并配套一种 并行训练算法。
- 作者声称在多个基准上有提升，包括：
- 语言建模
- 常识推理
- in-context retrieval（上下文检索）
- 论文还讨论了把 Gated DeltaNet 层与 滑窗注意力 或 Mamba2 层结合的混合架构。
原帖作者的延伸判断
他把这条线索和 NVIDIA Nemotron、Kimi Delta Attention、Qwen 最新架构 联系起来，认为这可能是理解当下大模型架构演进的一个重要方向。
「Infra」频道最新
- Nothing 手机把电影梗做成了模块化设计玩笑 — ZeYanjie · 2026-07-22
- Actual Computer 称其推理栈已适配英伟达消费级 Blackwell — markjeffrey · 2026-07-22
- Ben Bajarin 称市场仍严重低估 CPU 需求 — BenBajarin · 2026-07-22
- 能源模型称美国或从 2028 年起面临天然气短缺 — churchkey · 2026-07-22
- Devin 接入 e2b 沙箱，支持远程 agent 执行 — badphilosopher · 2026-07-22
- Arbitrum 模拟显示：ArbOS61 提高 gas 容量，但 L2 收入下降 — tomwanhh · 2026-07-22