PyTorch Helion 内核接入 vLLM:部分负载吞吐提升超 10%
PyTorch · x · 2026-10-03
PyTorch 发布博客,展示其内核 DSL Helion 在生产推理中的效果:团队将 Helion 接入 vLLM 的线性后端。
- 单一 Helion GEMM 实现可覆盖多种算法变体——标准 GEMM、Split-K、Swap-AB,并按张量形状自动选择最优变体与配置。
- 在 NVIDIA Hopper GPU 上,结合逐形状调优与混合分发,Helion 在评测的各模型上均优于 vLLM 默认的 CUTLASS 与 DeepGEMM 后端。
- 端到端收益稳定,部分负载吞吐提升超过 10%。
- 作者为 Red Hat 的 Sean Chen 与 PyTorch(Meta)的 Shangdi Yu。
所属事件:PyTorch Helion 内核接入 vLLM 推理吞吐显著提升(2 条相关)→
「Infra」频道最新
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19