Gated DeltaNet-2 中稿 NeurIPS，混合线性注意力模型新 SOTA
AccBalanced · x · 2026-09-25
NVIDIA 研究者 Ali Hatamizadeh 等的 Gated DeltaNet-2 论文被 NeurIPS 2026 接收，作者称其成为混合/线性注意力模型的新的 SOTA。
核心思想：线性注意力用固定大小的循环状态替代 softmax 注意力的无限增长缓存，但难点在于如何编辑压缩记忆而不破坏已有关联。现有 delta-rule 模型（Gated DeltaNet、Kimi Delta Attention/KDA）用单一标量门同时控制两件事：擦除多少旧内容、写入多少新内容。
方法：Gated DeltaNet-2 将两者解耦，引入通道级擦除门 bt 和写入门 wt，同时继承自适应遗忘与通道级衰减；当两个门退化为同一标量时即还原为 KDA，进一步退化为 Gated DeltaNet。论文推导了 fast-weight 更新视角、chunkwise WY 算法与保持高效并行训练的 gate-aware 反向传播。
实验：在 100B FineWeb-Edu token 上训练的 1.3B 模型，在语言建模等任务上全面超越 Mamba-2、Gated DeltaNet、KDA 与 Mamba-3 变体。论文与代码均已公开。
「模型」频道最新
- DeepMind 称 Gemini 智能体 4 周完成 Signal 加密协议数学验证 — Polymarket · 2026-11-11
- 爆料：Google 新模型阵容曝光，含 Flash 迭代与视频模型 — koltregaskes · 2026-11-11
- 爆料:OpenAI Astra 6.2 或将临近,已现于 Codex 日志与谷歌云配额 — haider1 · 2026-11-11
- 同一段提示词实测：Fable 5.2 花时 3 倍费用 2 倍，换来导演级表达 — iamfakhrealam · 2026-11-11
- Krafton 开源 1.5B 端侧模型 Raon-1 nano,多项基准超同尺寸对手 — DimitrisPapail · 2026-11-11
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11