vLLM 首发支持 Nemotron 3.5 Super VL,单 GB200 跑 NVFP4
vllm_project · x · 2026-10-15
vLLM 宣布 Day-0 支持 Nemotron 3.5 Super VL，使用 vllm/vllm-openai:v0.31.0 镜像即可部署。
- 提供 1× GB200 NVFP4 示例配置：--max-model-len 114688、--reasoning-parser nemotronv3，以及 5 个投机 token 的 MTP。
- 从 Day 0 起支持 BF16 与 NVFP4：BF16 作基线，NVFP4 版本在 NVIDIA Blackwell GPU 上权重占用更小、可低精度执行。
- NVIDIA 称在 Baseten endpoint 上跑 Artificial Analysis 智能体任务，100K 输入 token 时输出超过 600 token/秒。
- 另一份 SWE-bench Pro 对比称在 4× B200 GPU 上任务完成速度提升 4 倍。
官方建议在目标硬件上验证该配置。
所属事件:vLLM 首日支持 Nemotron 3.5 Super VL 多模态模型(4 条相关)→
「Infra」频道最新
- SGLang Day-0 支持 FLUX 3 Image Klein：单图 10 参考图，BF16/FP8/NVFP4 多精度 — ying11231 · 2026-10-16
- 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16