一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据
anbarth · x · 2026-11-16
GPU 的 shared memory 是每个线程块共享的高速暂存区,分 32 个 bank,每个 bank 每次只能输出一个 4 字节值。当一个 warp(32 个并行线程)读取的 32 个值落在同一个 bank 时,就会发生 bank conflict——本该 1 次完成的读取变成逐个串行,最坏 32 次。由于结果仍然正确,正确性测试完全测不出来。
作者以图解说明:4 字节值按顺序填满 bank、到 32 就回绕,冲突很容易命中。vLLM 中某个 kernel 为此采用 swizzling 技巧,故意把数据「打乱」存储(column XOR row)来避免冲突。
所属事件:一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据(2 条相关)→
「Infra」频道最新
- 如何用 Nsight Compute 定位 GPU kernel 的 bank 冲突 — anbarth · 2026-11-16
- vLLM 量化 MoE 内核实操:一行 XOR 消除共享内存 bank 冲突 — anbarth · 2026-11-16
- Sentry CEO 吐槽:Cloudflare Durable Objects 越用越看不懂 — zeeg · 2026-11-16
- WSJ:英伟达为 AI 热潮「开空白支票」的日子屈指可数 — Gregory_C_Allen · 2026-11-16
- 新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径 — kalyan_kpl · 2026-11-16
- SemiAnalysis 逐层拆解麒麟 9050,揭示 LogicFolding 真实工艺 — teortaxesTex · 2026-11-16