vLLM 联合英伟达优化,在 GB200 上实现 Qwen3.5 推理超 2.5 万 TPS
AccBalanced · x · 2026-08-08
vLLM 团队宣布，通过与 NVIDIA 团队的深度合作优化，在 GB200 NVL72 系统上运行 Qwen3.5 模型时，实现了单 GPU 超过 25,000 总 tokens/s 的吞吐量。
文章详细解析了针对 Qwen3.5 混合注意力架构（结合全注意力层与门控 Delta 网络 GDN 层）的优化难点。主要技术突破包括：
- Blackwell 架构优化的 GDN Prefill 内核：相比之前的 FLA/Triton 实现，新内核在不同模型大小和批次形状下实现了 1.02 倍至 5.78 倍的性能提升。
- 分离式推理（P/D serving）状态转移：解决了在预填充和解码工作节点之间正确转移异构注意力与 GDN 状态的挑战。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16