AMD R9700 跑 NVFP4 Qwen3.8 27B:5809 tok/s 预填充
whodoneit1 · reddit · 2026-09-16
开发者在其基于 Radiance 镜像的 vLLM MXFP4 构建上新增了 NVFP4 到 MXFP4 的在线转换，充分利用 AMD R9700 的 MXFP4 快速路径，让任何 NVFP4 量化模型在 AMD 硬件上大幅提速。
实测 NVFP4 量化的 Qwen3.8-27B(Unsloth Dynamic v3)达到约 5,809 tok/s 预填充(prefill)和 276 tok/s 解码。项目代码开源于 Codeberg 和 GitHub，性能数据由自研 BetterBench 工具测量。
「Infra」频道最新
- M5 Ultra 首个跑分：多核 52516，比 M3 Ultra 快约 35% — jedisct1 · 2026-09-16
- 苹果高管做客播客：详解 2nm 芯片与 Neural Engine 翻倍 — BenBajarin · 2026-09-16
- Sentdex 晒奇葩理财法：买 8 张 RTX Pro 6000 转手 4 张白赚 4 张 — Sentdex · 2026-09-16
- Google 发布 Retrieve-for-Train：用轻量扩散模型替代重型自回归推理 — gaganghotra_ · 2026-09-16
- Cerebras 创始人做客 Uncapped：聊晶圆级芯片与 AI 算力供应链 — AccBalanced · 2026-09-16
- IBM 用 llm-d 在 544 块 H100 上跑 753B MoE,服务 3000 个并发编程 Agent — dl_weekly · 2026-09-16