Lambda 实测:Nemotron 3.5 Super VL 单卡 NVFP4 吞吐超双卡 BF16
TheZachMueller · x · 2026-10-15
Lambda 发布了 NVIDIA Nemotron 3.5 Super VL(120B 总参数、12B 激活、原生视觉、1M 上下文)在 SGLang 上的部署实测:
- NVFP4 · 1× Blackwell:峰值吞吐 1,860 tok/s(C16),单用户 587 tok/s
- BF16 · 2× Blackwell(TP2):峰值 1,669 tok/s(C16),单用户 530 tok/s
- 同样的 8,192 输入/1,024 输出负载下,单卡 NVFP4 系统吞吐反超双卡 BF16,单卡吞吐约为其 2.2 倍,因为 Blackwell 原生支持 FP4
- 两条路径均启用基于 multi-token prediction 的 EAGLE 推测解码(5 步、6 草稿 token)
- 注意:因 CUDA graph 仅捕获到 batch 16,C16 之后吞吐回落,实用并发区间为 C1–C16
结论:FP4 原生推理让单卡顶替双卡,显著降低部署成本。
「Infra」频道最新
- NVIDIA 一日发布两款 Nemotron-3.5 开源模型：Super 与 Bolt 分工明确 — kuchaev · 2026-10-16
- Anthropic 日均合并代码从 2500 涨至 3 万，审查改看「意图」而非逐行读码 — Miles_Brundage · 2026-10-16
- 台积电 Q3 营收指引约 1760 亿美元，亲自核查客户算力与电力再扩产 — BenBajarin · 2026-10-16
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16
- Google 地震预警系统从 98 国扩至近 200 个国家和地区 — sundarpichai · 2026-10-16