Radeon R9700 本地跑 7 模型 4 引擎:vLLM 栈比 GPU 更关键
paq85 · reddit · 2026-11-20
作者用一张 Radeon AI PRO R9700 在 4 个推理引擎上跑了 7 个模型的本地 LLM 基准测试,并给出完整数据。
- 关键结果:Paiton vLLM(3-bit 权重 + 4-bit KV + speculator)跑 Qwen3.8 达到单流中位 173.8 tok/s,8 路并发聚合 684 tok/s;同为 Qwen3.8-27B,Strata 只有 83.8 tok/s——同卡同模型下 Paiton 快 2.07 倍。
- DeepSeek-V4.1-Flash 全质量模式约 26-27 tok/s;参考组 RTX 5090 + llama.cpp + DFlash2 平均解码 289.2 tok/s。
- 能效:单流 0.58-0.61 tok/W,8 路并发提升到 2.3-2.4 tok/W——并发才是每瓦 token 数的来源。
- 意外发现:隐藏测试通过率 84-94%,但 10 个任务里只有 0-3 个完全全绿。
作者结论:服务栈(serving stack)的影响可能比 GPU 本身更大。
「Infra」频道最新
- 持续学习难在单位经济:轨迹筛选与奖励作弊的算力账 — xennygrimmato_ · 2026-11-20
- Everpure 营收涨 51% 至 14.6 亿美元,逆闪存涨价潮下调产品价格 — BenBajarin · 2026-11-20
- 传黄仁勋考虑创办全新芯片公司,称首日即可募数百亿美元 — cuijiaxun · 2026-11-20
- AMD 官方否认做空报告,称其歪曲业务实践,股价曾暴跌 13% — BenBajarin · 2026-11-20
- eBay 出现 8000 美元 RTX Pro 6000,发帖人提醒谨防骗局 — QuanstScientist · 2026-11-20
- 华为昇腾 GPU 首批渲染视频流出,实机画面首度曝光 — GabGarrett · 2026-11-20