16 张 AMD MI50 跑出 GLM-5.2 长上下文吞吐实测
Legal-Ad-3901 · reddit · 2026-07-23
- 有用户在 16 张 AMD MI50 32GB 上，通过 llama.cpp RPC 跑起了 GLM-5.2 UD-Q4KXL GGUF。
- 在一份真实的 10.7k token 文档上，输出速度达到 12.2 tok/s，输入速度 30.9 tok/s；并发两个请求时，聚合吞吐为 14.5 tok/s。
- 在 10.7k 上下文 下，长文生成仍能保持 10.2 tok/s 且输出连贯。
- 这套集群是 2 个 8 卡节点、总计 512GB VRAM，单卡 100W 限功耗，节点间用 10GbE DAC 直连。
- 作者还提到，之前试过自定义 vLLM-gfx906 构建，速度不错但在 10k 之后推理质量/稳定性开始下降，期待有人把 Moby Dick 方案继续跑通。
「Infra」频道最新
- Daft 接入本地 Transformers 推理，支持向量化 LLM 操作 — lhoestq · 2026-07-23
- MI455X 与 Venice 预告里露出一颗 chiplet 计算芯片 — scaling01 · 2026-07-23
- 报告称 Mistral 的主权 AI 栈仍依赖微软基础设施 — shashib · 2026-07-23
- 分析师：AI 数据中心正变得像半导体晶圆厂 — BenBajarin · 2026-07-23
- AMD MI300X 和 MI350 获赞，Anthropic 交易凸显 CUDA 挑战 — tzmartin · 2026-07-23
- 13 模型 probe 显示: token 速度预测不了真实任务耗时 — According-Floor5177 · 2026-07-23