单张 AMD R9700 跑 Qwen3.8 27B 解码达 153 tok/s

Reddit 开发者为单卡 AMD Radeon R9700 做推理优化，运行 Unsloth 的 Qwen3.8 27B NVFP4 量化模型性能全面翻倍，峰值解码速度达 153 tok/s。其基于 Radiance 镜像的 vLLM MXFP4 构建新增了 NVFP4 到 MXFP4 的在线转换，充分利用 R9700 的 MXFP4 快速路径，预填充吞吐可达 5809 tok/s，让任何模型都能受益。

2026-09-16 ~ 2026-09-17 · 2 条相关

• AMD R9700 跑 NVFP4 Qwen3.8 27B:5809 tok/s 预填充 — whodoneit1 · 2026-09-16
• 单张 AMD R9700 跑 Qwen3.8 27B 达 153 tok/s,性能翻倍 — whodoneit1 · 2026-09-17