vLLM 联合 AMD 优化 MiniMax M3,MI355X 吞吐提升数倍

vLLM 团队联合 AMD 与 EmbeddedLLM 发布长文,复盘 MiniMax M3 模型在 AMD Instinct MI355X GPU 上的完整调优历程,涵盖从 day-0 首次跑通到持续性能优化的全过程。经过系统优化,单卡吞吐量最高提升至原来的 4.45 倍,整体推理性能提升约 3-4 倍,展示了开源推理框架在非 NVIDIA 硬件上的优化方法论与成果。

2026-09-11 ~ 2026-09-12 · 2 条相关