GDN-2 大幅超越 Mamba-2,3B 混合 MoE 版本待审批发布
teortaxesTex · x · 2026-09-26
NVIDIA 研究者 ahatamiz1 透露,其新线性注意力/序列建模架构 GDN-2 的更大规模变体已经训练完成,在对比实验中大幅超越 Mamba-2、GDP、KDA 等竞争方案。
- 近期的候选发布版本是 GDN-2-3B latent MoE:沿用 Nemotron-3 Nano 的整体架构,但把其中的 Mamba-2 层替换为 GDN-2
- 公开发布还需通过公司内部的多项审批,团队正在推进
- 若如期开源,这将是线性注意力路线在商用小模型上的又一次落地尝试
「研究」频道最新
- AI 智能体日夜运转一个月,复现法国气象局 AROME 天气模型 — IgorCarron · 2026-11-11
- NYU 新方法:看人做 5 分钟家务,机器人就能学会擦桌子 — CyberRobooo · 2026-11-11
- 新预印本：以空间单细胞分辨率绘制早期器官发生的人类胚胎图式 — anshulkundaje · 2026-11-11
- OpticalRAG：文档渲染成图压缩至 16 个 token，三项基准压缩感知精度最佳 — kalyan_kpl · 2026-11-11
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- Diffusion Week 2026 十讲全部公开:覆盖视频生成与世界模型 — LucaAmb · 2026-11-11