一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据
anbarth · x · 2026-11-16
GPU 的 shared memory 分 32 个 bank,每个 bank 每次只输出一个 4 字节值。当一个 warp 的 32 个线程读取的值落在同一个 bank 时,bank conflict 会让本该 1 次的读取变成最多 32 次串行——而结果仍然正确,正确性测试测不出来。
配图以 4 个 bank 的示意解释冲突成因,并介绍 vLLM 某 kernel 的对策:swizzling,故意把数据打乱(column XOR row)存储来避免冲突。
「Infra」频道最新
- 一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据 — anbarth · 2026-11-16
- Sentry CEO 吐槽:Cloudflare Durable Objects 越用越看不懂 — zeeg · 2026-11-16
- WSJ:英伟达为 AI 热潮「开空白支票」的日子屈指可数 — Gregory_C_Allen · 2026-11-16
- 新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径 — kalyan_kpl · 2026-11-16
- SemiAnalysis 逐层拆解麒麟 9050,揭示 LogicFolding 真实工艺 — teortaxesTex · 2026-11-16
- 博主预言美芯片禁令反噬:3-10年中国或自建前沿AI生态 — tengyanAI · 2026-11-16