TokenSpeed 在 4×GB300 上跑 Qwen3.8-Flash-Next，单用户 685 tokens/s

Alibaba_Qwen · x · 2026-10-14

LightSeek Foundation 发布 TokenSpeed 推理优化成果：在 4 张 NVIDIA GB300（NVFP4）上服务 Qwen3.8-Flash-Next，实现每用户 685 output tokens/s，阿里巴巴 Qwen 官方转发祝贺。

博客详解了针对新架构的优化：Qwen Sparse Attention（QSA）的稀疏选择与注意力高效实现、跨残差边界的计算融合、多 token 预测（MTP）投机解码中重复工作的削减、以及用 programmatic dependent launch 重叠 kernel 间独立准备。该模型是 Qwen4 架构早期预览：多模态 MoE，125B 总参数、每 token 激活 6B，另有 51B n-gram 嵌入参数与 4B MTP 模块，采用 Gated DeltaNet 混合注意力与四分支 Gated Residual。