Agent 自建推理引擎:AMD MI350X 跑 GLM 5.3 比 B200 快 37%

yisongyue · x · 2026-10-28

Asari AI Labs 宣布，其 agent 在几天内构建了一个自定义推理引擎，在 AMD MI350X 上以 FP8 精度服务 GLM 5.3，速度比 NVIDIA B200/B300 的 8 卡节点快 37%。

在 SemiAnalysis 的 AgentX 基准上，该方案实现了每用户 352 tokens/sec 的 p90 交互性，甚至追平了更低精度 FP4 模型的最佳成绩，且所有输出与官方 stock 实现保持一致。附图显示 MI350X + Asari AI Engine 达 351.7 tok/s/user，远超 B200·SGLang FP8 的 255.8 与 B300 的 251.9，也超过 GB300·FP4 的 342.5。转发者 Yisong Yue 认为这一「agent 自动构建推理引擎」的路线潜力很大。