NVIDIA 在 PyTorchCon 讲解 Vera Rubin 上的 agentic 负载优化
PyTorch · x · 2026-10-21
PyTorch 官方预告 PyTorchCon 2026 主题演讲:NVIDIA 的 Ujval Kapasi 将介绍「PyTorch Performance for Agents on Vera Rubin」,探讨 agent 工作负载对 PyTorch 技术栈的需求。
- 新瓶颈:单个 agent 请求可能触发长链推理、工具调用、代码执行、数据搬运与分布式推理,带来全新的性能瓶颈与优化机会。
- 内容范围:以 Vera Rubin 为案例,讲解 CPU、GPU、内存与网络的软硬件协同设计,以及围绕 PyTorch、Triton 和 vLLM 的软件优化工作。
「Infra」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- Perplexity Computer 支持完全本地运行:模型与 agent 都留在 Mac 上 — khademinori · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21