Helion 驱动 vLLM 线性层,Hopper 上内核提速 1.11-1.18 倍
lmoroney · x · 2026-10-03
Red Hat、Meta 与 vLLM 团队在 PyTorch 博客发布新方案,用 Helion 为 vLLM 在 NVIDIA Hopper 上提供线性层后端:
- 一份 Helion GEMM 实现同时覆盖 Standard、Split-K、Swap-AB 三种变体,AOT 自动调优器为每种形状挑选最优配置
- 采用混合调度:小 token 数(≤32)走 Helion,更大批量回退到默认 CUTLASS 或 DeepGEMM
- 结果:相对默认内核库,几何平均内核加速约 1.11x–1.18x,部分工作负载端到端吞吐提升超过 10%
- 代码与自动调优工具已在其 vLLM fork 中提供,并已开 RFC 讨论上游合入
作者指出这也是很好的 ML 系统教学案例:在高层次表达算法一次,把形状相关的工作交给自动调优,并让热路径保持在 CUDA Graphs 下以保住调优收益。
所属事件:PyTorch Helion 内核接入 vLLM 推理吞吐显著提升(2 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19