TileRT×AMD 在 8×MI355X 上跑 GLM-5.3 达 469 tok/s,比 GB300 FP4 快 40%
vllm_project · x · 2026-09-25
vLLM 项目宣布 TileRT 与 AMD 团队在 SemiAnalysis AgentX 基准上,用 8×MI355X 通过 vLLM 把 GLM-5.3 单用户解码推到 469 tok/s,SemiAnalysis 称这比使用 FP4 的 GB300 TRTLLM 快 40% 以上。架构上采用分离式部署:vLLM 负责计算密集的 prefill,TileRT 通过 vLLM V1 连接器接口接管延迟敏感的 decode,在保持原生 vLLM 服务栈的同时获得 TileRT 的单用户解码速度。
所属事件:vLLM 集成 TileRT,AMD 8×MI355X 跑 GLM-5.3 比 GB300 快 40%(2 条相关)→
「Infra」频道最新
- AI 服务器需求拉动,南亚塑胶拟投115.3亿新台币建玻纤布五厂 — zephyr_z9 · 2026-11-11
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11