Baseten 实测:DeepSeek v4.1 Flash 在 Vera Rubin 上跑出约 2500 tok/s
baseten · x · 2026-11-19
Baseten 团队公布了在 NVIDIA Vera Rubin 上推进低延迟推理的最新结果:
- DeepSeek v4.1 Flash 达到约 2500 tok/s(batch size 1,TP4),每步仅 1.9ms
- 比 GB300 上的成绩最高快 1.7 倍
- 正与 SGLang(sglproject)和 radixark 合作,将相关优化开源
- Tri Dao 与 stel4th 已在 SGLang summit 上分享部分细节
NVIDIA AI Infra 官方账号也转发了这一成果,这是 Vera Rubin 平台早期低延迟推理的代表性数据点。
「Infra」频道最新
- 美限制中企租用海外 Nvidia 芯片,微软却被曝拟向字节增售 OpenAI 模型 — kevinnbass · 2026-11-19
- vikhyatk:行业在 GPU 编译器投入过多,CPU 编译器不足 — mohbibi_ · 2026-11-19
- KVARK Flash 代理:按请求限 DeepSeek 思考量,token 省 30-50% — Ill_Contribution_717 · 2026-11-19
- Polymarket 上线 Anthropic IPO 永续合约,ANT 报约 104 美元 — Polymarket · 2026-11-19
- R9700 降到 160W 跑 llama.cpp:性能仅丢两成,风扇近无声 — LippyBumblebutt · 2026-11-19
- Cloudflare 推出 Spend Management:消费达上限可自动暂停服务 — JeremyCMorgan · 2026-11-19