PyTorch 用 AI 编码助手一周内将 SGLang 移植到 IBM Spyre,吞吐提升 3.6 倍

PyTorch · x · 2026-11-12

PyTorch 官方宣布，借助 AI 编码代理，团队在一周内仅用 1500 行插件就完成了 SGLang 与 IBM Spyre 加速器的集成，复用现有 PyTorch Spyre 支持和 SGLang 扩展点，吞吐量约为参考实现 torch-spyre 的 3.6 倍。

在 Granite 3.3 8B 和 Gemma 4 26B-A4B 两个工作负载上，SGLang 性能与 vLLM 基本持平（配图显示相对值分别为 0.993 和 1.008），且 RadixCache 前缀共享无需任何硬件特定改动即开箱可用。PyTorch 认为这展示了开源标准与模块化架构能让新硬件快速上线、扩展全栈硬件选择。