如何用 Nsight Compute 定位 GPU kernel 的 bank 冲突
anbarth · x · 2026-11-16
Antje Barth 给出排查共享内存 bank 冲突的可操作方法:用 NVIDIA 官方 profiler Nsight Compute(开启 source counters)对内核或推理引擎做 profiling。
- 其 Source 页面会显示每条指令的 wavefronts(读取 pass 数)、理想次数与超额部分
- 任何共享内存读取出现超额 pass,即说明存在 bank 冲突
- 她提醒:这反映的是单次读取的效率,不等于端到端 tokens/s
与上一条 vLLM swizzling 讲解同属一个线程,这一条侧重「怎么自己查」,配她此前对 vLLM 量化 MoE 内核的实例分析使用。
「Infra」频道最新
- 一个 bank conflict 让 GPU 读取慢 32 倍:vLLM 用 swizzling 故意打乱数据 — anbarth · 2026-11-16
- Sentry CEO 吐槽:Cloudflare Durable Objects 越用越看不懂 — zeeg · 2026-11-16
- WSJ:英伟达为 AI 热潮「开空白支票」的日子屈指可数 — Gregory_C_Allen · 2026-11-16
- 新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径 — kalyan_kpl · 2026-11-16
- SemiAnalysis 逐层拆解麒麟 9050,揭示 LogicFolding 真实工艺 — teortaxesTex · 2026-11-16
- 博主预言美芯片禁令反噬:3-10年中国或自建前沿AI生态 — tengyanAI · 2026-11-16