Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s
zhyncs42 · x · 2026-10-16
TokenSpeed 与 Reflection 合作，在 Beam 发布当天完成 GB200 部署支持。Beam 是总参数 501B、每 token 激活 23B、支持 1M 上下文的 MoE 模型。
推荐配置为两台 GB200 计算托盘跑 NVFP4 检查点，实测(agentic 编码多轮工作负载):
- 单用户 463 tok/s,8 并发时每用户 223 tok/s,DFlash 投机解码带来 1.71× 提速
- NVFP4 权重每 GPU 仅占 36.5 GiB(BF16 为 119.1 GiB),留出更多 KV cache 空间
- 将 43 个滑动窗口层拆成更小的 cache 分组后，同容量可容纳 3.07× 的 token
- 融合路由/归一化内核 + TensorRT-LLM NVFP4 MoE 内核，MoE 层比 BF16 快 2.2–2.9×
1.93B 参数的 DFlash 草稿模型一次提议 15 个 token 在同一 CUDA graph 内验证。另支持 AMD MI355X,部署指南已开源。
「Infra」频道最新
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16