vLLM 首日支持 Reflection Beam 501B MoE,单请求达 708 tok/s
woosuk_k · x · 2026-10-17
vLLM 官方博客宣布从 Day 0 支持 Reflection 的 Beam 模型(501B 参数 MoE,每 token 激活 23B),并在 NVIDIA Blackwell 上做了深度优化:
- 完整功能支持:推理、工具调用、结构化输出开箱即用,支持 tensor/data/expert 并行
- Agent 驱动优化:编码 agent 自主优化模型,使 batch-1 解码较初版提速 2.71 倍,prefill 提速 1.87 倍
- DFlash2 投机解码:单请求在 TP8 上达 708 tok/s,接受长度 3.7;自适应验证(每步动态决定验证多少草稿 token)在高并发下再增 10% 吞吐
- 附完整 docker 启动命令,包括 fp8 KV cache、FLASHINFER 后端与 dflash 投机配置
架构上 Beam 为 52 层 MoE,Moder 路由沿用 DeepSeek-V3,差异主要在注意力层与残差流归一化方式。作者 woosukk 补充了 AgentX 基准图:GB300 上 NVFP4 部署,开启 DFlash2 后各并发档吞吐均显著高于关闭投机解码。
所属事件:Reflection 开源 Beam-1.0：501B MoE、1M 上下文携 40+ 伙伴上线(39 条相关)→
「Infra」频道最新
- llama.cpp v0.7.0 发布:一条命令在 128GB Mac 跑 Qwen3.8-Flash 草稿推测 — ggerganov · 2026-10-17
- NVIDIA GB300 NVL72推理吞吐几天内从7万提至约9万 TPS/GPU — NVIDIAAI · 2026-10-17
- 4x3090 还是 DGX Spark：本地部署大模型的算力取舍账 — Dapper_Chance_2484 · 2026-10-17
- SGLang Summit 2026 议程亮相，Decagon 将分享 1T 参数 RL 训练管线 — BanghuaZ · 2026-10-17
- Qwen 本地实测：弃 21K 上下文换更高量化，编码耗时省 25% — Boricua-vet · 2026-10-17
- TeenyWork 原型：让浏览器用比特币挖矿算力付费换访问 — stonebrigade · 2026-10-17