PyTorch 深度解析：为什么不应释放 Pinned Memory
ezyang · x · 2026-08-10
PyTorch 核心贡献者 Edward Yang 分享了一篇关于 CUDA Pinned Memory（页锁定内存）底层机制的深度技术文章。文章由 Claude 辅助起草并经人工编辑。
文章指出，尽管传统观点认为应像普通内存一样按需分配和释放 Pinned Memory，但在实际的高性能计算场景中，永远不释放它才是最优解。核心原因包括：
- CUDA Graphs 的限制：捕获的 CUDA 图会将主机缓冲区的物理地址固化在节点中，只要该图还在重放，对应的 Pinned Memory 就必须存活。
- 重新锁定的开销极大：调用 cudaHostAlloc 耗时达毫秒级，在稳定的工作流中频繁释放和重新申请会严重拖慢执行效率。
- 工作负载特性：使用 Pinned Memory 的典型场景（如 LLM 推理与训练）每一步的张量形状通常是固定的，跨步骤释放内存并不能节省实际峰值显存。
作者提到，像 Megatron-LM 和 vLLM 这样的主流大模型框架，实际上都在进程启动时预分配了专属的 Pinned Memory 池，并一直持有直到进程结束，甚至提供了专门的配置项来阻止系统释放这些内存。
「Infra」频道最新
- 解析拖慢 AI 应用的 7 大工程瓶颈 — goyalshaliniuk · 2026-08-10
- 传英伟达认证 300mW 激光并买断大部分供应 — zephyr_z9 · 2026-08-10
- 双卡极限优化：MiniMax-H3 视频生成提速 8 倍 — multimodalart · 2026-08-10
- Rust 线性代数库编译至 Wasm，实现浏览器端 6 倍性能提升 — doodlestein · 2026-08-10
- 法国 10GW 电力盈余若用于 AI 数据中心可年入 3500 亿欧元 — emmanuelvivier · 2026-08-10
- 无CUDA经验靠编程智能体拿下GPU优化赛第五 — tokenbender · 2026-08-10