NVIDIA 发布 Nemotron 3.5 Super/Lightning：MoE 混合 Mamba-Transformer 开源模型
kalyan_kpl · x · 2026-10-30
论文介绍 NVIDIA 的 Nemotron 3.5 Super 与 Nemotron 3.5 Lightning，两个面向推理、长上下文与智能体工作负载的开源高效 MoE 混合 Mamba-Transformer 模型：
- Super：120B 总参数、12B 激活的多模态模型；Lightning：30B 总参数、3B 激活的纯文本模型。
- 两者都结合大规模蒸馏、长上下文训练与原生投机解码，主打高效部署。
- Super 额外包含 Indic 语料继续预训练与智能体软件工程 mid-training。
- 后训练管线含 SFT 与强化学习（RLVR、RLHF），Super 还采用专门教师训练与多教师 on-policy 蒸馏（MOPD）。
所属事件:NVIDIA 开源 Nemotron 3.5：MoE 混合 Mamba-Transformer 模型(2 条相关)→
「模型」频道最新
- 传 GPT-6.5 定价高昂，或反成全行业降价推手 — VraserX · 2026-10-30
- Reddit 玩梗：各大实验室抢在 Qwen 4 前发模型，只为当一天榜一 — Porespellar · 2026-10-30
- Hugging Face 对谈 Mistral 团队，详解 Large 4 构建全过程 — SergioPaniego · 2026-10-30
- Humansand 发布 &Tutor：先建「学习者模型」再训教学模型 — techNmak · 2026-10-30
- 实测：低温贪心解码让模型编程更笨，温度 1.0 比 0 高 12.7 个百分点 — Brief-Tap-6616 · 2026-10-30
- Gemini 4 公开编码任务登顶,私榜却跌至垫底 — Hesamation · 2026-10-30