双R9700跑Qwen3.8 27B达280 tok/s,MXFP4超越FP8逼近硬件极限
whodoneit1 · reddit · 2026-09-02
- 作者持续优化双 AMD Radeon R9700 本地推理,社区已从最初 5 人增长到 1200 名开发者协作
- 在 DeadCode 的 radiance 镜像基础上自研 MXFP4 支持,采用 W4A8 内核,性能先追平 FP8 后大幅反超,目前已逼近显卡硬件极限
- BetterBench 解码实测:JSON 任务 280 tok/s、数学 254、代码 226、聊天 148;预填充在 94k token 提示下仍保持 3831 tok/s
- KV cache 容量达 94 万 token,完整镜像与仓库已开源(codeberg.org/ggz14/radiance-vllm-mxfp4)
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18