单张 AMD R9700 跑 Qwen3.8 27B 达 153 tok/s,性能翻倍

whodoneit1 · reddit · 2026-09-17

Reddit 用户为单卡 AMD Radeon R9700 做了推理优化,运行 Unsloth 的 Qwen3.8 27B NVFP4 量化模型性能全面翻倍:峰值解码速度 153 tok/s(JSON 类任务),8 路并发下达 470 tok/s,prefill 速度 3,619 tok/s。

分任务实测数据:

• :153.1 tok/s(最快)
• fileedit:138 tok/s;math:140 tok/s;summarization:141.7 tok/s
• code:120.5 tok/s;reasoning:123.9 tok/s
• chat:67.1 tok/s;prose:69.2 tok/s

所有任务 p50 更新延迟稳定在 34-42ms。优化结果与可视化图表已发布在 GitHub 项目 BetterBench,对单卡 AMD 用户有直接参考价值。

所属事件:单张 AMD R9700 跑 Qwen3.8 27B 解码达 153 tok/s(2 条相关)→

原文链接 →

「Infra」频道最新

• B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
• vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
• Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
• CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
• 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
• 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02

更多「Infra」频道 AI 资讯 →