Baseten 将 DeepSeek V4.1 Flash 推至 Vera Rubin 上约 2500 tok/s,提速 1.7 倍
ying11231 · x · 2026-11-17
Baseten 公布 DeepSeek V4.1 Flash 低延迟推理优化结果:在 Vera Rubin 上、batch size 1、TP4 配置下达到约 2,500 tok/s,单步仅 1.9ms,比此前 GB300 的成绩快至 1.7 倍。团队正与 SGLang 项目及 radixark 合作,将这些低延迟优化合入开源的 SGLang,让社区受益。相关细节已由 Tri Dao 等人在上周 SGLang summit 上分享。
所属事件:Baseten 在 Vera Rubin 上将 DeepSeek Flash 推至 2500 tok/s(3 条相关)→
「Infra」频道最新
- RX 7900 XT 跑起 Unsloth Dynamic v3.1:53 tok/s、192K 上下文 — zxspectrun · 2026-11-17
- Alchemy 实现客户端读己之写:命令回执自动随读请求发送 — samgoodwin89 · 2026-11-17
- Pipeshift 服 Gemma 4 31B 首 token 快 40%,日吞吐 1500 亿 tokens — NirantK · 2026-11-17
- LoopFill 无训练投机解码加速 Looped Transformer 推理 — UIUC-CS · 2026-11-17
- 腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s — pmttyji · 2026-11-17
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17