Beam 长上下文服务优化:GB200 前向最快降 20%
vllm_project · x · 2026-10-16
vLLM 团队展示为 Beam 长上下文服务所做的 kernel 级优化,包括融合 all-reduce + norm、打包 QKV 路径和 tanh softcap kernel。
在 GB200 前向微基准上,TP4 batch 1 从 4.23ms 降至 3.89ms;TP8 batch 128 从 8.15ms 降至 6.47ms(softcap 单行从 8.51μs 降至 2.21μs,1024 行从 976μs 降至 110μs)。这些是使用 dummy weights 的前向微基准,非端到端服务结果,幻灯片明确区分了 kernel 计时与前向计时。
所属事件:vLLM 拆解 Beam 架构并优化长上下文性能(2 条相关)→
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16