长上下文推理优化实测:融合内核让 GB200 前向最多快 20%
vllm_project · x · 2026-10-16
vLLM 系列帖介绍 Inferact 对 Beam 长上下文服务的内核优化:融合 all-reduce + norm、打包 QKV 路径和 tanh softcap 内核。GB200 前向 microbenchmark 中,TP4 batch 1 从 4.23ms 降至 3.89ms,TP8 batch 128 从 8.15ms 降至 6.47ms;softcap 内核 1024 行从 976.43µs 降至 110.05µs(约 8.9 倍)。作者明确标注这些是使用 dummy weights 的前向 microbenchmark,非端到端服务结果。
所属事件:vLLM 为 Reflection Beam 提供首日支持与全套优化(10 条相关)→
「Infra」频道最新
- Zephon 接入 TorchTitan:换 GPU 数量重启训练仍保持全局 batch 完全一致 — PyTorch · 2026-10-17
- 黄仁勋:AI 从检索走向求解,算力需求将增长十亿倍 — rohanpaul_ai · 2026-10-17
- 旧金山将办算力交易市场：预审买家卖家现场签约束交易 — Scobleizer · 2026-10-17
- eigenrobot 欢迎数据中心落户：盼其止住连年两位数房产税涨幅 — eigenrobot · 2026-10-17
- 开发者吐槽 Claude 桌面版比本地跑 Qwen 3.8 Next 更耗电 — andrew_n_carr · 2026-10-17
- Cisco OCP 解读：机架仍是 scale-up 边界，Silicon One 对冲 NVIDIA — BenBajarin · 2026-10-17