CUDA 隐藏坑点：默认 8 工作队列可致 GPU 任务假依赖串行
AlpinDale · x · 2026-10-26
AlpinDale 分享了一张 NVIDIA CUDA 文档截图，指出一个容易被忽略的细节：环境变量 CUDADEVICEMAXCONNECTIONS 控制并发计算与拷贝引擎的工作队列数量（1-32，默认 8）。当不同 CUDA stream 上的独立任务映射到同一工作队列时，会产生假依赖，导致 GPU 任务被串行化。
要点：
- 建议将工作队列数设为不低于每个 context 的活跃 CUDA stream 数（如 CUDADEVICEMAXCONNECTIONS=16）
- 该变量同时修改拷贝连接数，除非单独用 CUDADEVICEMAXCOPYCONNECTIONS 显式设置
- 拷贝连接变量仅影响 compute capability 8.0 及以上设备，且设置时会覆盖前者的拷贝部分
「Infra」频道最新
- 黄仁勋：AI 工厂软件每 GPU 每年收约 2000 美元，百万卡即 20 亿美元 — LinusEkenstam · 2026-10-26
- DevOps 12 个核心概念按此顺序学，从 Linux 到 SRE 一路打通 — _jaydeepkarale · 2026-10-26
- 砍掉向量数据库换 SQLite BM25,多智能体架构重建的三大教训 — OpenComplaint524 · 2026-10-26
- Gemma 4 26B 在 16GB Mac 离线跑 TypeScript 测试,33/40 分、31 tok/s — Mission-Sir-1614 · 2026-10-26
- 数千张 GPU 如何协同训一个模型：5D 并行拆解 — jbhuang0604 · 2026-10-26
- Stratechery 断言开放互联网进入终局，AI 初创将买不到算力 — tushaarmehtaa · 2026-10-26