vLLM Day-0 支持 Reflection Beam：4×B300 跑出 1769 tok/s
vllm_project · x · 2026-10-16
vLLM 官方发布 Reflection Beam(501B 总参/23B 激活的稀疏 MoE)的 Day-0 服务方案:Docker 镜像 vllm/vllm-openai:reflection-beam + 官方 recipe。
- 架构:52 层混合 512-token 滑动窗口注意力 + NoPE 全注意力层,每 token 路由到 256 专家中的 8 个(前 3 层为 dense MLP),上下文 1M,Harmony 格式推理与工具调用,可选 DFlash2 投机解码。
- 实测吞吐(并发 16 聊天测试):4×B300 NVFP4 TP4 达 1769 output tok/s;8×B300 FP8 TP8 为 1300。两者 GPU 数与精度不同,KV 为 BF16。
- 显存需求:NVFP4 版权重 294GB(建议 4×B200/B300);FP8 版 503GB(8×H200);BF16 版 1003GB(8×B200/B300)。NVFP4 只量化路由专家,注意力/dense/router 等保持 BF16;Hopper 上经 Marlin 以 BF16 激活运行 FP4 专家。
- 配套还有 SkyRL 的 Day-0 RL 支持(LoRA、BF16 全参微调、MXFP8 RL),SkyRL 报告通过在 vLLM 中按需调整 expert adapter 尺寸,LoRA decode 吞吐提升 62%(276→447 tok/s/GPU,32 并发)。
所属事件:Reflection AI 开源 Beam-1.0-501B-A23B，40+ 生态伙伴同步上线(40 条相关)→
「Infra」频道最新
- 博通 OCP 释出 Ultra 与 Jericho 路线，AI 以太网故事被低估一半 — BenBajarin · 2026-10-17
- 分析师驳「中国 2028 洪灌 HBM」论:量产差距达 5-7 年 — JOBhakdi · 2026-10-17
- Kaggle 老将放话:本地模型跑不到 100 TPS 基本没人用 — TheZachMueller · 2026-10-17
- Rob LeClerc:AI 正把量子计算时间线大幅提前 — robleclerc · 2026-10-17
- 85 个 GPU kernel 抽查 32 个有隐患,SentryWard 主攻 AI 生成代码验证 — JiaZhihao · 2026-10-17
- llama.cpp 新增 IBM Granite 模型切换功能，本地即可运行 — jacek2023 · 2026-10-17