AMD R9700 跑 NVFP4 Qwen3.8 27B:5809 tok/s 预填充
whodoneit1 · reddit · 2026-09-16
开发者在其基于 Radiance 镜像的 vLLM MXFP4 构建上新增了 NVFP4 到 MXFP4 的在线转换，充分利用 AMD R9700 的 MXFP4 快速路径，让任何 NVFP4 量化模型在 AMD 硬件上大幅提速。
实测 NVFP4 量化的 Qwen3.8-27B(Unsloth Dynamic v3)达到约 5,809 tok/s 预填充(prefill)和 276 tok/s 解码。项目代码开源于 Codeberg 和 GitHub，性能数据由自研 BetterBench 工具测量。
所属事件:单张 AMD R9700 跑 Qwen3.8 27B 解码达 153 tok/s(2 条相关)→
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02