EagleCorp 实测 Nemotron 3.5 Super VL:单请求吞吐达原版 2.74 倍
NVIDIAAI · x · 2026-10-29
NVIDIA 转引 EagleCorp 对 Nemotron 3.5 Super VL 的推理速度实测(SPEED-Bench,4×B300、TP4、温度 0):
- 单请求:647 tokens/s,对比原版 236 tokens/s,达 2.74 倍
- 512 并发请求下:聚合吞吐 33,480 tokens/s,对比原版 19,823 tokens/s,达 1.69 倍
数据显示该模型在推理服务栈上相比 vanilla 版本有显著吞吐提升,尤其单请求延迟敏感场景收益最大。
「Infra」频道最新
- Mirendil 推出 Lor:让智能体并行跑实验,号称顶一个 AI 实验室 — shayan_ · 2026-10-29
- Anthropic S-1 推理经济账 persuades Modal CEO 改判 GPU 价格走势 — firstadopter · 2026-10-29
- Supabase联创播客:六年做到百亿估值,为何AI智能体爱用它 — Latent Space · 2026-10-29
- Agent把算力需求推回CPU:2030年服务器CPU市场或达2210亿美元 — BenBajarin · 2026-10-29
- 预测 2027 年 AI 服务器收入涨超 90% 至约 9200 亿美元 — Beth_Kindig · 2026-10-29
- Oracle 首次部署 Google TPU,并扩大与 Nvidia 多吉瓦级合作 — Beth_Kindig · 2026-10-29