Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16
TheZachMueller · x · 2026-10-22
- Lambda 实测 NVIDIA Nemotron 3.5 Super VL(120B-A12B)在 SGLang 下的推理性能:
- NVFP4 · 1× Blackwell:峰值 1,860 tok/s 系统吞吐(C16),单流 587 tok/s/user;
- BF16 · 2× Blackwell:峰值 1,669 tok/s,单流 530 tok/s/user。
- 同负载下 NVFP4 单卡每 GPU 吞吐约为 BF16 双卡的 2.2 倍,因 Blackwell 原生跑 FP4;两者均用多 token 预测 + EAGLE 投机解码(5 步 6 草稿)。
- 注意:decode CUDA graph 只捕获到 batch 16,超过 C16 后吞吐回落,实用区间为 C1–C16。
「Infra」频道最新
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22
- AI 从业者喊话欧盟：别焦虑模型，砸钱建 GPU 集群和电网才是正事 — DionysianAgent · 2026-10-22
- 10月21日 Railway 与 LiteLLM 遭攻击,AI 防御需进入代理化时代 — alvelda · 2026-10-22
- 小量化模型思考更长反而更慢？本地部署社区热议量化选择 — Banana-Negra · 2026-10-22
- 独立开发者自建全栈 AI 基础设施，吐槽 X 圈层壁垒 — ShimazuSystems · 2026-10-22
- NVIDIA GTC 柏林:Rev Lebaredian 称 Agent 化 AI 带来仿真技术阶跃 — RevLebaredian · 2026-10-22