SGLang 发布 DeepSeek V4.1 Flash 适配指南：4×GB300 跑出 873 tok/s
hsu_byron · x · 2026-09-12
SGLang 团队为 DeepSeek V4.1 Flash 提供 Day 0 支持，并在发布 24 小时内把单批次（BS=1）性能推到 4×GB300 上 873 tok/s，手段包括 FP8 GEMM 快速路径、kernel fusion 与 overlap、DSpark 优化和 MoE TP4。
DeepSeek V4.1 Flash 架构改动较大：causal encoder-decoder 设计、CSA2 共享 KV、Engram、mHC、DSpark，SGLang 全部在发布当天完成适配。团队还发布了一篇带逐步复现步骤的工程实践指南，DeepGEMM、FlashMLA 等优化仍在路上。
所属事件:SGLang 24 小时适配 DeepSeek V4.1 Flash 达 873 tok/s(2 条相关)→
「Infra」频道最新
- Zilliz CTO:Agent 记忆不是索引功能,而是长期运维的系统工程 — J_Luan_ · 2026-09-12
- Draw Things 新版上线:支持 MiniMax H3 与 Krea 2 模型 — antirez · 2026-09-12
- Wafer 推出号称最全的 AI 性能工程资源库,首篇拆解 Transformer 推理 — ycombinator · 2026-09-12
- Together 称承接 OpenRouter 上 23%-30% 的 GLM 5.3 流量 — zhyncs42 · 2026-09-12
- 全球廉价电力争夺战：AI 数据中心该建在哪，训练与推理答案不同 — pravchaw · 2026-09-12
- 用股权融资买算力本末倒置，风投圈提议发明「硬件收入衍生品」 — ns123abc · 2026-09-12