NVIDIA 发布 Nemotron 3.5 Super VL：120B MoE 单卡吞吐提升 5 倍
markjeffrey · x · 2026-10-16
NVIDIA 在技术博客中介绍 Nemotron 3.5 Super VL——一个开放、可定制的多模态模型，主打智能体（agentic）工作流：
- 架构：120B 参数 MoE，每 token 激活 12B；单一模型融合推理、指令遵循、工具调用，以及文本/图像/文档/视频理解，无需再配独立的视觉语言模型。
- 性能：单 GPU 上智能体任务吞吐较同规模开源模型最高提升 5 倍。
- 落地案例：Scale AI、Ramp、AI21 等已基于它做后训练，定制成专用工作流，实现推理成本降低 40 倍、延迟降低 10 倍、准确率提升 40% 等改进。
- 推理优化：采用 LiLiCorr 投机解码、NVFP4 量化（量化感知蒸馏）、多 token 预测与上下文复用，支持 DGX Spark 等平台。
- 定制路径：开发者可用 NVIDIA NeMo 进行 SFT、LoRA 和强化学习，开放数据集已发布在 Hugging Face，另有 GitHub 上的使用 cookbook。
另据转发，Always AI 已被列为 NVIDIA Nemotron 官方推理合作伙伴，并出现在官方技术博客中。
所属事件:NVIDIA 开源 Nemotron 3.5 Super VL 120B 多模态模型(33 条相关)→
「Infra」频道最新
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB,指令遵循反超 Qwen3.5 — calabi_and_yau · 2026-10-16
- llama.cpp v0.7.0 发布:MoE 专家 GPU 缓存使解码最快提速 2.2 倍 — EAccelerate_42 · 2026-10-16
- NVIDIA 发布 Nemotron 3.5 Bolt：74B 模型塞进 24GB 显存 — NVIDIAAI · 2026-10-16
- Creative Strategies 发布 CS Forecast Stack：19 个模型联动预测 AI 全经济栈 — BenBajarin · 2026-10-16
- 铜转光：机架级光背板成 AI 数据中心下一步设计刚需 — BenBajarin · 2026-10-16
- Polymarket 开出 28% 概率：年内将有美国州级数据中心禁令落地 — Polymarket · 2026-10-16