Nemotron 团队架构洞见:混合 Mamba-Transformer 无需 RoPE,少量注意力层补齐两大短板
gordic_aleksa · x · 2026-09-18
Aleksa Gordić 点评 NVIDIA Nemotron 团队近年架构工作(SSM/Mamba 扩展、混合模型、LatentMoE 等),并分享一个反直觉但细想合理的观察:
- 混合 SSM(Mamba)-Transformer 架构不需要显式位置编码(如 RoPE),因为 Mamba 的隐状态已隐式编码位置信息
纯 Mamba 的短板
- 复制/上下文学习能力弱:0-shot 到 5-shot 在 MMLU 上仅提升 1.45 分,而 Transformer 提升 4.38 分
- 长上下文推理差(可能是循环状态过度压缩所致)
结论:加入数量少得惊人的注意力层即可同时修补这两个短板。
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02