从零造 GPU 编译器：PyTorch 到 CUDA 的六级 IR 降级全解析

NoVibeCoding · reddit · 2026-10-13

作者分享了自己从零构建的 GPU 编译器 emmy 及配套讲座视频与长文，讲解现代编译器（TVM、Modular、PyTorch Inductor）共有的核心概念。

要点：

六级 IR 降级流程：Torch IR（捕获）→ Tensor IR（语义）→ Loop IR（融合）→ Tile IR（调度）→ Kernel IR（硬件）→ CUDA 源码，每一级 IR 针对特定任务（如算子融合、调度枚举）优化。
可复现示例：一条 emmy compile 命令即可把 nn.Linear 生成到指定 IR 层级的代码，方便逐级理解。
性能：在基准工作负载上，多个生成 kernel 超过 Torch Inductor 和 cuBLAS，并使用了 tensor cores 与 TMA 等现代特性。
该编译器可与 vLLM 配合做端到端模型服务，对想理解或构建 LLM 推理引擎的人有直接参考价值。

附 YouTube 讲座、riftstack.ai 长文与 GitHub 仓库链接。

「Infra」频道最新