Reflection 开源 501B MoE 模型 Beam,vLLM 首日支持单请求 708 tokens/s
Xianbao_QIAN · x · 2026-10-16
Reflection AI 发布开源模型 Beam-1.0-501B-A23B：总参数 501B 的 MoE，每 token 激活 23B，vLLM 从发布首日即提供支持并在 NVIDIA Blackwell 上做了深度优化。
要点
- 架构：52 层 MoE，hidden size 5120，路由沿用 DeepSeek-V3 方案；注意力层采用混合设计——部分层全注意力+NoPE（SSMax），其余为滑动窗口注意力（窗口 512），GQA 48 查询头/8 KV 头，叠加 sandwich post-norm 与输出门控等改动（详见配图架构图）。
- Agent 自动优化内核：编码 agent 自主调优，使 batch-1 解码比初版快 2.71×，prefill 快 1.87×。
- 投机解码 DFlash2：配合 Beam 专用 drafter，TP8 单请求达 708 tokens/s，接受长度 3.7；自适应验证在高并发下再增约 10% 吞吐。
- 开箱即用：推理、工具调用、结构化输出开箱支持，支持张量/数据/专家并行，提供 NVFP4 量化版本。
- 提供 Docker 镜像 vllm/vllm-openai:reflection-beam，一条命令即可部署。
所属事件:Reflection 开源 501B MoE 模型 Beam，携 40+ 伙伴发布(20 条相关)→
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16