IBM Spyre 加速器迁移至 PyTorch Inductor 后端,编译器缩小 7 倍
PyTorch · x · 2026-10-22
IBM 与 Red Hat 发布 Spyre 加速器 PyTorch 软件栈的博客三部曲,并在 PyTorchCon 2026 上分享相关进展。要点:
- 架构迁移:Spyre 的 torch.compile 后端从完全自研的 sendnn 编译栈切换到基于 PyTorch 开源 Inductor 扩展的 backend=inductor,大部分 Inductor 代码无需改动, resulting 编译器代码量比原来缩小约 7 倍。
- 硬件设计:Spyre 是面向企业推理、75W 功耗的 PCIe 加速器,无需定制供电与散热;采用数据流架构,32 个小核心经环状互联连接,每核自带 2MB 本地 scratchpad,以 128 字节的 stick 为单位搬数据。
- 工程难点:真正的工作集中在 Spyre 数据流设计与 GPU 假设分歧的少数环节,仍需大量的 out-of-tree 扩展和底层代码生成改动,并非即插即用。
- 生态共建:Priya Nagpurkar 介绍 IBM 将 Spyre 接入 PyTorch 编译器与 vLLM、用 AI 工具支撑数千个模型的启用,以及下一代 Spyre 硬件展望。
这展示了 Inductor 作为通用编译基底的杠杆效应,以及非 GPU 架构如何融入 PyTorch 生态。
所属事件:IBM 演示 Spyre 芯片接入 PyTorch 与 vLLM 软件栈(2 条相关)→
「Infra」频道最新
- Megakernel 框架宣称单内核跑万亿参数预训练 — basedjensen · 2026-10-22
- PyTorchCon 深入优化器内核：QR、特征分解与 Cholesky 如何提速训练 — PyTorch · 2026-10-22
- CoreWeave 被指陷反身性信用循环:债价越跌融资越贵风险越高 — vasuman · 2026-10-22
- Bulatov 列本地模型看空理由：数据中心智能性价比更高 — yaroslavvb · 2026-10-22
- vLLM 发布 TorchTPU：PyTorch 原生工具链登陆 TPU 推理 — PyTorch · 2026-10-22
- Wiz 实锤 LiteLLM 供应链事件：失窃凭据已被用于 LLMJacking 滥用 — wunderwuzzi23 · 2026-10-22