vLLM 量化 MoE 内核实操:一行 XOR 消除共享内存 bank 冲突
anbarth · x · 2026-11-16
Antje Barth 讲解 GPU 共享内存 bank 冲突与 swizzling 技术,并以 vLLM v0.33.0 为例。
- 问题:共享内存分 32 个 bank,多个线程同时读同一 bank 的不同地址时,读取被串行化成多个 pass,拖慢内核
- 解法:swizzling 改变每行的存储顺序——值不变、内存不变,但原本落在同一 bank 的四个数被分散到四个不同 bank,4 次 pass 变 1 次;代码上往往只是「列号 XOR 行号」一行
- 实例:vLLM v0.33.0 为量化 MoE 层提供了带 swizzle 的可选内核;其喂给 tensor core 的加载按 16 字节组取数,因此按组整体 swizzle。配图显示其最大一次加载为 512 字节、32 个 bank 全忙、4 次 pass——已是该尺寸的理论最少次数
「Infra」频道最新
- 如何用 Nsight Compute 定位 GPU kernel 的 bank 冲突 — anbarth · 2026-11-16
- 一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据 — anbarth · 2026-11-16
- Sentry CEO 吐槽:Cloudflare Durable Objects 越用越看不懂 — zeeg · 2026-11-16
- WSJ:英伟达为 AI 热潮「开空白支票」的日子屈指可数 — Gregory_C_Allen · 2026-11-16
- 新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径 — kalyan_kpl · 2026-11-16
- SemiAnalysis 逐层拆解麒麟 9050,揭示 LogicFolding 真实工艺 — teortaxesTex · 2026-11-16