vLLM 用 swizzling 化解 GPU 共享内存 bank 冲突
GPU 共享内存分为 32 个 bank,每个 bank 每次只能输出一个 4 字节值;当一个 warp 的 32 个线程读取同一 bank 时会产生 bank conflict,读取速度最差可慢 32 倍。Antje Barth 以 vLLM v0.33.0 量化 MoE 内核为例,讲解如何通过 swizzling 故意打乱数据布局,仅用一行 XOR 操作即可消除 bank 冲突,大幅提升访存效率。
2026-11-16 ~ 2026-11-16 · 3 条相关
- 一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据 — anbarth · 2026-11-16
- 一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据 — anbarth · 2026-11-16
- vLLM 量化 MoE 内核实操:一行 XOR 消除共享内存 bank 冲突 — anbarth · 2026-11-16