PyTorch AOTI 后端加速 NVIDIA HSTU 推理 1.14x–1.28x
PyTorch · x · 2026-09-04
PyTorch 官方宣布，其 AOTI 后端在 NVIDIA 的 HSTU 推理测试中，相比 Python 后端实现了 1.14x–1.28x 的加速（使用 Triton Inference Server 部署）。在理想的全 GPU 缓存命中场景下，结合 KV 缓存，AOTI 后端可实现 2.20x–2.38x 的加速。结果来自 NVIDIA 的 recsys-examples 仓库，该仓库展示了使用 PyTorch 在 NVIDIA GPU 上训练和部署生成式推荐器的最佳实践，包括优化的 HSTU 和 Semantic ID 实现。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21