NVIDIA 开源 Nemotron 3.5 Super VL:120B MoE 单卡吞吐提升 5 倍
NVIDIAAI · x · 2026-10-15
NVIDIA 发布并开源多模态模型 Nemotron 3.5 Super VL，技术博客详解其构建方式。
- 架构：120B 参数 MoE，每 token 激活 12B，统一了推理、指令跟随、工具调用与文本/图像/文档/视频理解，无需再串联独立的视觉语言模型。
- 性能：单 GPU 上 agentic 任务吞吐较同规模开源模型最高提升 5 倍；支持 100K 输入 token 下仍保持强推理与高输出速度。
- 推理优化：LiLiCorr 投机解码、NVFP4 量化（量化感知蒸馏）、多 token 预测与上下文复用，可跑在 DGX Spark 等平台。
- 落地案例：Scale AI、Ramp、AI21 等团队后训练后实现推理成本降低 40 倍、延迟降低 10 倍、准确率提升 40%。
- 开放性：权重、数据与训练配方全部开放，可通过 NeMo 做 SFT、LoRA 与 RL 定制，模型已上架 Hugging Face。
所属事件:NVIDIA 开源 Nemotron 3.5 全家族：120B 多模态 Super VL 与 24GB 可跑的 Bolt(31 条相关)→
「Infra」频道最新
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16