双R9700跑Qwen3-27B-FP8仅50 t/s,vLLM推测解码瓶颈排查
YehowaH · reddit · 2026-08-24
用户在 2 张 AMD R9700 AI Pro(TP=2,PCIe Gen5 x8,AMD Ryzen 5 7400 + DDR5-6000)上用 vLLM 部署官方 Qwen3-27B-FP8 并开启 MTP=3 推测解码,实际生成吞吐仅约 50 t/s,接受吞吐约 30 t/s,平均接受长度 2.7-2.8,草稿接受率约 60%。环境基于 andysalerno/r9700-serving 仓库(统一 aiter attention、ROCm 7.14、最新 vLLM/FlashAttention/aiter)。作者向社区求证该数字是否合理、瓶颈可能在哪。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg,Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎,解码速度与 batch 解耦 — ai · 2026-10-16