Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达每秒约 2500 token
baseten · x · 2026-11-17
Baseten 分享了其低延迟优化最新成果:DeepSeek v4.1 Flash 在 Vera Rubin 上达到约 2500 tok/s(batch size 1、TP4、每步 1.9ms),比其此前 GB300 成绩最高快 1.7 倍。团队正与 SGLang(sglproject)和 radixark 合作将相关优化开源,Tri Dao 等人已在 SGLang 峰会上分享了这些结果。
「Infra」频道最新
- 微软宕机波及航空银行,或为全球网络安全事件早期 — mallow610 · 2026-11-17
- 德州数据中心审批冻结迎来首考:Core Scientific 13亿美元项目待决 — edgarpavlovsky · 2026-11-17
- vLLM 称 Rubin 助吞吐提升 90 倍,分析师算供需全抽象化被批 — bookwormengr · 2026-11-17
- Runway CTO 将登 AI Dev NYC,讲视频基础模型的训练与实时推理 — DeepLearningAI · 2026-11-17
- Michael Burry 做空 Oracle 再中:8 月以来股价跌 17.4% — SumitGup · 2026-11-17
- NVIDIA 发布指南:双 DGX Station 本地部署 GLM-5.3 — vllm_project · 2026-11-17