消费级显卡开启 PCIe P2P，多卡本地部署吞吐量免费提升 25%
BidonPomoev · reddit · 2026-08-09
一位开发者在配备 4 张 RTX 5060Ti 的服务器上测试发现，为消费级 Nvidia 显卡开启 PCIe P2P 通信能显著提升 VLLM 的推理性能。
测试环境
- 硬件：AMD EPYC 服务器（约 150GB/s 内存带宽），4 张 5060Ti 16GB（PCIe 4.0 x8）
- 模型：Qwen3.6-27B-FP8（F16 KV 缓存，未使用 KV 量化）
- 并行策略：张量并行
性能收益
开启 P2P 后，在 32k 上下文深度下，首 Token 延迟（TTFT）大幅降低，Prefill（预填充）阶段的吞吐量实现了约 25% 的免费提升。
开启方法
- 硬件需支持并在 BIOS 中开启 ReBAR（Resizable BAR）。
- 安装社区修改版的 Nvidia 驱动程序。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16