SGLang 发布 DeepSeek V4.1 Flash 适配指南：4×GB300 跑出 873 tok/s
hsu_byron · x · 2026-09-12
SGLang 团队为 DeepSeek V4.1 Flash 提供 Day 0 支持，并在发布 24 小时内把单批次（BS=1）性能推到 4×GB300 上 873 tok/s，手段包括 FP8 GEMM 快速路径、kernel fusion 与 overlap、DSpark 优化和 MoE TP4。
DeepSeek V4.1 Flash 架构改动较大：causal encoder-decoder 设计、CSA2 共享 KV、Engram、mHC、DSpark，SGLang 全部在发布当天完成适配。团队还发布了一篇带逐步复现步骤的工程实践指南，DeepGEMM、FlashMLA 等优化仍在路上。
所属事件:SGLang 24 小时适配 DeepSeek V4.1 Flash 达 873 tok/s(2 条相关)→
「Infra」频道最新
- Cornell 教授联合创办的 Makora 获 175 万美元奖励，专攻 AI 提效降本 — srush_nlp · 2026-10-31
- Transformers.js 月 npm 下载量一年涨 9 倍，从 164 万冲到约 1500 万 — nicodotdev · 2026-10-31
- Agent 并发每半年翻倍,AgentWrap 改用「Agent 即函数」运行时 — matanSF · 2026-10-31
- Anthropic 上半年人力成本暴涨 486% 至 31.5 亿美元，股权薪酬占七成 — rohanpaul_ai · 2026-10-31
- 双 3090 + 32GB 内存跑不动 Qwen Strata 低比特量化，作者纠结是否再花 479 美元加内存 — runcertain · 2026-10-31
- a16z 图说：GPU 租金三个月最高涨 106%，token 均价反降 58% — a16z · 2026-10-31