NVIDIA Nemotron 3.5 Super VL 上线 SageMaker:120B MoE 视觉语言模型

AWS ML Blog · rss · 2026-11-10

NVIDIA Nemotron 3.5 Super VL 现已在 Amazon SageMaker JumpStart 提供部署。这是 Nemotron 3.5 系列的视觉语言模型,接受图像、视频与文本输入,生成文本。

模型架构

120B 总参数、每 token 激活 12B 的混合 MoE 语言骨干:88 层交替 Mamba-2 与 MoE 层(512 个路由专家、每 token 激活 22 个)加 8 层注意力,并带共享 MTP 头支持投机解码。
视觉侧采用 C-RADIO 编码器,支持最长 1M token 上下文;每张 1536×1024 页面图约消耗 1536 token。
训练流程覆盖继续预训练、长上下文与软件工程 mid-training、两阶段多模态 SFT、可验证奖励与人类反馈的 RL、多教师在线蒸馏等。

两个部署变体

NVFP4(约 75 GB):由 BF16 经量化感知蒸馏而来,W4A4 运行在 Blackwell GPU 上,面向推理优化,默认跑 ml.g7.24xlarge(4× RTX PRO 4500 Blackwell)。
BF16(约 249 GB):全精度参考权重,适合 SFT/RL/蒸馏/自定义量化,跑 ml.p5en.48xlarge(8× H200)。两者均不支持 LoRA 适配器加载。

评测与性能

NVFP4 在多模态基准上与 BF16 基本持平:MMLongBench-Doc 均 62.82,OSWorld-Verified 52.30 略高于 BF16 的 51.14,OCRBench v2 68.34 略胜 CharXiv 推理 79.88 略逊。
实测 generate 负载(250 输入/1500 输出 token、5 并发):NVFP4 在 g7.24xlarge 上每请求吞吐 63.07 tokens/s,BF16 在 p5en.48xlarge 达 140.85 tokens/s;首 token 延迟均在 0.5 秒左右,但 10K 输入的 summarize 场景下首 token 延迟升至 12.62 秒。

适用场景:文档智能(OCR、图表、多页文档)、computer-use agent 的 GUI 理解、短视频问答、多模态 agent(支持工具调用与 JSON schema 输出)。推理默认开启,可用 enablethinking 配置。许可证为 OpenMDW 1.1。

「Infra」频道最新