单张 AMD R9700 跑 Qwen3.8 27B 达 153 tok/s,性能翻倍
whodoneit1 · reddit · 2026-09-17
Reddit 用户为单卡 AMD Radeon R9700 做了推理优化,运行 Unsloth 的 Qwen3.8 27B NVFP4 量化模型性能全面翻倍:峰值解码速度 153 tok/s(JSON 类任务),8 路并发下达 470 tok/s,prefill 速度 3,619 tok/s。
分任务实测数据:
- :153.1 tok/s(最快)
- fileedit:138 tok/s;math:140 tok/s;summarization:141.7 tok/s
- code:120.5 tok/s;reasoning:123.9 tok/s
- chat:67.1 tok/s;prose:69.2 tok/s
所有任务 p50 更新延迟稳定在 34-42ms。优化结果与可视化图表已发布在 GitHub 项目 BetterBench,对单卡 AMD 用户有直接参考价值。
所属事件:单张 AMD R9700 跑 Qwen3.8 27B 解码达 153 tok/s(2 条相关)→
「Infra」频道最新
- vLLM 深度优化 Kimi K3 推理：吞吐提升 2.2–2.8 倍 — vllm_project · 2026-09-17
- 黄仁勋罕见表态：预计英伟达明年芯片销量翻倍 — firstadopter · 2026-09-17
- Baseten 优化 pyannote 说话人分离：吞吐提升 3.2 倍延迟降 9.6 倍 — baseten · 2026-09-17
- huggingface_hub v1.32.0 上线共享下载缓存，跨仓库复用 16.8GB 权重 — vanstriendaniel · 2026-09-17
- 富士通正式发布 MONAKA：144 核 ARM 数据中心 CPU — Fcking_Chuck · 2026-09-17
- GitLab.com 将调整 API 速率限制,官方博客公布变更细节 — darkwater · 2026-09-17