Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s
baseten · x · 2026-11-17
推理平台 Baseten 分享了在 Nvidia Vera Rubin 上推送 DeepSeek v4.1 Flash 低延迟性能的最新结果:batch size 1、TP4 配置下达到约 2500 tok/s,每步仅 1.9ms,比此前 GB300 的成绩快约 1.5 倍。团队正与 SGLang 项目方(sglproject / radixark)合作将相关优化开源,相关工作已在 SGLang 峰会上由 Tri Dao 与 stel4th 分享。
「Infra」频道最新
- NVIDIA 发布指南:双 DGX Station 本地部署 GLM-5.3 — vllm_project · 2026-11-17
- Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏 — simran_s_arora · 2026-11-17
- Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98% — simran_s_arora · 2026-11-17
- ARK 报告:黄仁勋卸任英伟达 CEO,供应链与生态或受冲击 — downingARK · 2026-11-17
- 拆解 Nvidia 循环融资:1700 亿美元销售额仅 350 亿资金未落定 — tengyanAI · 2026-11-17
- NVIDIA 发布 DGX Spark 四节点开发套件:桌面上跑 700B 参数模型 — NVIDIA Blog · 2026-11-17