一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据

anbarth · x · 2026-11-16

GPU 的 shared memory 分 32 个 bank,每个 bank 每次只输出一个 4 字节值。当一个 warp 的 32 个线程读取的值落在同一个 bank 时,bank conflict 会让本该 1 次的读取变成最多 32 次串行——而结果仍然正确,正确性测试测不出来。

配图以 4 个 bank 的示意解释冲突成因,并介绍 vLLM 某 kernel 的对策:swizzling,故意把数据打乱(column XOR row)存储来避免冲突。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →