FlyDSL 接入 PyTorch,AMD MI350 上 vLLM 推理最高提速 3 倍
PyTorch · x · 2026-10-22
AMD 与 Meta 宣布开源 Python 内核 DSL FlyDSL 接入 PyTorch，支持 AMD MI350 系列显卡（gfx950），通过 torch.compile 和 eager 模式即可使用，无需应用改写调用自定义内核。
关键数据：
- BF16 稠密 GEMM：相对 ATen/Triton 较优者几何平均提速 1.10x
- MXFP8 / MXFP4 scaled GEMM：相对 ATen 分别提速 1.58x / 1.68x
- 分组 GEMM：相对 Triton 提速 1.20x；TopK（小 K）相对 ATen 达 4.82x
- 注意力内核作为新后端进入 AOTriton 0.14b 系列
- 端到端 vLLM A/B 测试：BF16 请求提速 1.13x，MXFP8 达 2.04x，MXFP4 达 3.01x
FlyDSL 覆盖稠密/分组 GEMM、FMHA、MXFP8/MXFP4、RMSNorm、TopK 等算子，不支持的输入自动回退原有实现。
「Infra」频道最新
- PyTorchCon 深入优化器内核：QR、特征分解与 Cholesky 如何提速训练 — PyTorch · 2026-10-22
- CoreWeave 被指陷反身性信用循环:债价越跌融资越贵风险越高 — vasuman · 2026-10-22
- Bulatov 列本地模型看空理由：数据中心智能性价比更高 — yaroslavvb · 2026-10-22
- vLLM 发布 TorchTPU：PyTorch 原生工具链登陆 TPU 推理 — PyTorch · 2026-10-22
- Wiz 实锤 LiteLLM 供应链事件：失窃凭据已被用于 LLMJacking 滥用 — wunderwuzzi23 · 2026-10-22
- Vantage 预订超 1GW Heron Link 产能,押注 NVIDIA 800VDC 供电架构 — espricewright · 2026-10-22