Beam 服务实测:4×B300 NVFP4 并发16 达 1769 tok/s
vllm_project · x · 2026-10-16
vLLM 发布 Beam 部署资源:Docker 镜像 vllm/vllm-openai:reflection-beam,以及官方 recipe 与博客。
并发 16 的 chat 测试中,4×B300 NVFP4 TP4 输出 1,769 tok/s,8×B300 FP8 TP8 输出 1,300 tok/s(单并发下分别为 285 与 217 tok/s)。两组配置使用不同 GPU 数量与精度,非等资源对比;均为 BF16 KV、可变输出长度。Recipe 还给出各量化版本显存需求:NVFP4 294GB(磁盘)/353GB(显存),FP8 503/604GB,BF16 1,003/1,204GB。
所属事件:Beam 上线首日即获 SkyRL 与 vLLM 全方位支持(2 条相关)→
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16