300 条 issue 里,六成 GPU 内核故障不在算子本身

An Empirical Study of Issues in GPU Kernel Libraries for LLM Systems

Yanjie Gao, Jiayi Bi, Haoxiang Lin, Ling Feng

cs.AI

2026-11-06

手工读完七个 GPU 内核库的三百条已关闭问题,60.33% 的根因落在编译构建或运行环境,软件不兼容单独占 25.33%。

这篇在解决什么

训练和推理最耗时的是 attention、矩阵乘和量化。矩阵乘即 GEMM,线性层里的通用矩阵乘法。高速实现集中在七个库:FlashAttention、FlashInfer、Triton、CUTLASS、DeepGEMM、xFormers、bitsandbytes。发到显卡上执行的设备代码叫 GPU kernel。PyTorch 与 vLLM 负责组网和服务,具体哪一份 kernel 由张量形状、布局、数据类型、CUDA 版本和 GPU 架构共同决定。

同一份 kernel 被许多模型复用,故障会跟着进下游系统。它可以不抛异常:生成的 token 静默算错,长任务挂住,或者安装包与 CUDA 不匹配,算子还没启动就部署失败。触发面很窄,换一个头维度或驱动小版本,现象就没了。

编译器和训练框架的缺陷已有分类。kernel 库额外要守住布局、低精度和代码生成,还要按硬件做 dispatch,按条件选出实际要跑的那一份实现。这一层此前没有同等的症状与根因统计。

方法

微软亚洲研究院与清华大学拉取了七个官方仓库自 2015 年 12 月 26 日至 2026 年 7 月 10 日的全部 issue,共 9099 条。只保留已关闭且有明确失败证据的报告,去掉提问、功能请求和文档项,剩 3181 条候选。再按仓库候选量分层抽出 300 条。只有现象、解释互相打架或根因无法确认的,用同库中创建时间最接近的一条替换。

两人独立标注。症状或根因任一不同即算分歧,Cohen's kappa 为 0.87。每条只留一个主症状和一个根因:症状是用户看得到的结果,根因顺着维护者结论和补丁追溯。15 类根因归入三维,库内实现、编译与构建、运行环境。

样本为 bitsandbytes 79、Triton 77、CUTLASS 56、FlashInfer 37、FlashAttention 28、xFormers 19、DeepGEMM 4。DeepGEMM 原始 issue 仅 180 条,样本少是因为库年轻。Megatron-LM、vLLM、SGLang 未纳入,问题列表里还混着加载和调度。

结果

执行开始之前就失败的报告超过一半。

症状条数占比
部署失败8227.33%
构建失败7324.33%
崩溃6321.00%
功能错误5317.67%
性能下降237.67%
挂起62.00%

部署与构建合计 155 条,占 51.67%。前者停在安装、依赖、打包或导入;后者是源码或生成代码没变成可执行文件。崩溃、挂起与功能错误合计 122 条,占 40.67%,分别对应中途失败、不再推进,以及跑完但语义不对。挂起只有 6 条,卡住的是长时间任务。

库内实现 119 条(39.67%),编译与构建 81 条(27.00%),运行环境 100 条(33.33%)。后两者合计 60.33%。最大单类是软件不兼容,76 条(25.33%),涵盖驱动、CUDA 或 ROCm、框架、操作系统与二进制接口。其后为编译变换错误 46 条(15.33%)、构建配置错误 35 条(11.67%)、接口误用 26 条(8.67%)、硬件不兼容 24 条(8.00%)、代码逻辑错误 22 条(7.33%)。性能问题另有 17 条(5.67%)。数值错误 8 条(2.67%),索引错误 4 条,状态管理 2 条。

契约是隐式的,支持的形状也会错。H100 上 FlashAttention 头维度从 128 改为 132,吞吐约从 370 TFLOPS 降到 219。尺寸没对齐张量核心时,会补到 32、64 或 128 的倍数,多出来的计算吃掉吞吐。xFormers 用 16 位有符号整数保存剩余 key 列数,序列超过 32768 后溢出,attention 产出 NaN,VAE 解码可以变成黑图。块稀疏 attention 的前向正确,反向按稠密路径算梯度,因为哪些块被启用没有传入。Triton 把调用间会变化的值当作编译期常量,于是每次重新即时编译(JIT)。编译约 0.7 毫秒,kernel 约 12 微秒,SGLang 的服务被 CPU 编译堵住。CUTLASS 稀疏矩阵乘把 FP32 转成尾数更短的 TF32,跟 FP32 参考不一致。V100 没有 INT8 张量核心,bitsandbytes 的扩展装得上,INT8 矩阵乘仍然失败。CUTLASS 一份 Blackwell 双 SM 示例把启动网格算成 4×4 而非 8×4,1024×1024 的一块输出没有计算。82 条部署失败里,47 条出自 bitsandbytes。

为什么重要

接入这些库时,先核对软件栈,再看公式。六成根因在编译或运行环境,最大头是版本组合,单升一个组件说明不了新组合可用。主机侧 CUDA 11.6、PyTorch 却按 11.3 编译时,同一输入失败;换成匹配构建后可以通过。

issue 里反复出现五类测试:记录版本;与参考在同一精度下对拍;一次只改一个维度或长度;用 Compute Sanitizer 查访存和同步;把框架、编译、kernel 的时间拆开。Triton 那个 0.7 毫秒对 12 微秒的例子说明,不拆开就会把编译开销记成显卡慢。

对拍会指错对象。梯度跟 FP16 参考不合、跟 FP32 参考相合的那次,差在参考舍入。头维度 8 和 16 失败、32 才过,共享内存的计算错误才被圈出来。query 和 key 不等长,某些掩码错误才出现。启动成功也不等于数值正确。

兼容性检查、数值调试、启动前契约、录制后重放,都还停在研究方向,没有可安装的工具。这篇没有新的 attention 实现。它把测试顺序按故障占比排好:先覆盖安装、构建和代码生成。

局限与存疑

样本只要根因说得清的已关闭报告,说不清的就被替换,因此偏向文档完整的案例。讨论里没写的调试手段统计不到。低精度和硬件相关失败「现有测试不够」,依据是这些报告露出的洞,没有人测量过测试套件的召回率。

七个库都是开源项目。闭源 kernel,以及 vLLM、SGLang、Megatron-LM 自身的调度和分布式故障,都不在这套比例里。技术栈相近只说明机制可能迁移,15 类占比没有重测。DeepGEMM 只有 4 条,仓库级结论立不住。

接口误用的 26 条计的是包装层、框架和 kernel 之间的形状、类型、生命周期不一致。并进库内实现之后,39.67% 把两侧责任加在一起。只看代码逻辑错误,比例是 7.33%。kappa 为 0.87 说明两人分得稳,不说明每条根因只有一种合法归类。

术语

原文与代码

社区讨论

相关论文

全部论文解读