新博客拆解 GPU 通信：从页表到 NVLink，逐一对应 SGLang 内部用法
BanghuaZ · x · 2026-10-25
一篇系列博客的第一部分，系统讲解 GPU 通信概念，并把每个概念与推理框架 SGLang 的内部实现对应起来。
- 基础部分：pinned vs pageable 主机内存、NUMA 放置
- 内存共享：CPU 侧共享及 SGLang 的用法；GPU 侧 IPC handle 的生命周期
- 物理传输层：PCIe（含 SGLang 打满 PCIe 链路的实践）、NVLink（SGLang 的 Custom All-reduce 与 V2 版本）、NVSwitch
作者预告后续篇章会深入 VMM 与对称内存等主题。对想理解推理框架如何压榨多卡通信的工程师很有价值。
「Infra」频道最新
- vLLM 在 GB300 NVL72 上跑出 954K tokens/s/卡,服务 DeepSeek V4.1-Flash — vllm_project · 2026-10-25
- vLLM 追平 DeepSeek 自研引擎 DeepInfer 的 V4.1-Flash 推理性能 — vllm_project · 2026-10-25
- 英国人均发电量跌破 1970 年代，KOL 哀叹 AI 算力时代掉队 — NinaDSchick · 2026-10-25
- SMP 工具 2 分 51 秒索引 9.6 万文件 Linux 内核树，跑分还揪出一个 1.5 秒查询 bug — Numerous_Beyond_2442 · 2026-10-25
- 超大规模厂商今年 AI 支出超 8000 亿美元，达美国 GDP 2.4% — Unfair-Journalist-66 · 2026-10-25
- 曝三星将用台积电 3nm 为英伟达 NVHBM 定制芯片代工基芯 — Beth_Kindig · 2026-10-25