vLLM 详解 MiniMax M3 在 AMD MI355X 上的调优:单卡吞吐提升至 4.45 倍
vllm_project · x · 2026-09-11
vLLM 团队联合 AMD 与 EmbeddedLLM 发布长文，复盘 MiniMax M3 在 Instinct MI355X 上从 day-0 跑通到持续优化的全过程，核心方法论是「跟着瓶颈走」。
关键成绩（SemiAnalysis InferenceFX 基准）：
- 并发 32 下 MXFP8 标准服务从 109.1 提升至 342.4 output tokens/s/GPU（3.14×），TTFT 从 1.46s 降至 0.67s
- 并发 128 下 TP4/EP1 路径提升至 623.7（2.09×）
- MXFP4 配合 TP2/EP1 达到 943.5 tokens/s/GPU，为最初成绩的 4.45 倍
- 加入 EAGLE3 投机解码后达 682.4；P/D 分离部署在并发 512 下总吞吐达 6,370.5 tokens/s/GPU
文中覆盖 MSA 稀疏注意力、MXFP8/FP4 量化、拓扑调优等可复用的优化经验，适合做下一个模型优化时参考。
所属事件:vLLM 联合 AMD 优化 MiniMax M3，MI355X 吞吐提升数倍(2 条相关)→
「Infra」频道最新
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28