一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据

anbarth · x · 2026-11-16

GPU 的 shared memory 是每个线程块共享的高速暂存区,分 32 个 bank,每个 bank 每次只能输出一个 4 字节值。当一个 warp(32 个并行线程)读取的 32 个值落在同一个 bank 时,就会发生 bank conflict——本该 1 次完成的读取变成逐个串行,最坏 32 次。由于结果仍然正确,正确性测试完全测不出来。

作者以图解说明:4 字节值按顺序填满 bank、到 32 就回绕,冲突很容易命中。vLLM 中某个 kernel 为此采用 swizzling 技巧,故意把数据「打乱」存储(column XOR row)来避免冲突。

所属事件:一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →