GLM 5.2在AMD MI355X实现单节点2626 tok/s推理
SumitGup · x · 2026-07-05
工程师展示在AMD MI355X加速器上服务GLM 5.2模型,单节点吞吐达2626 tok/s,单流吞吐213 tok/s。体现了非英伟达硬件平台对主流开源大模型的推理优化能力与竞争力。
所属事件:GLM 5.2在AMD MI355X上实现单节点2626 tok/s推理(2 条相关)→
「Infra」频道最新
- YC 演讲谈 BCI × AI：真正决定速度的是基础设施 — garrytan · 2026-07-27
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- llama.cpp 提醒：旧版 GGUF 在新改动后必须重生成 — EconomySerious · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27
- 台积电传 2027 年拟提价 5%–10% 应对成本上升 — Beth_Kindig · 2026-07-27